AI Experts Call For Policy Action to Avoid Extreme Risks

On Tuesday, 24 AI experts, including Turing Award winners Geoffrey Hinton and Yoshua Bengio, released a paper calling on governments to take action to manage risks from AI. The policy document had a particular focus on extreme risks posed by the most advanced systems, such as enabling large-scale criminal or terrorist activities.

The paper makes a number of concrete policy recommendations, such as ensuring that major tech companies and public funders devote at least one-third of their AI R&D budget to projects that promote safe and ethical use of AI. The authors also call for the creation of national and international standards.

Bengio, scientific director at the Montreal Institute for Learning Algorithms, says that the paper aims to help policymakers, the media, and the general public “understand the risks, and some of the things we have to do to make [AI] systems do what we want.”

The recommendations do not break new ground. Instead, the paper’s co-authors are putting their names behind the consensus view among AI policy researchers concerned by extreme risks (they closely match the most popular policies identified in a May survey of experts).

“We wanted to present what (we feel is) clear thinking on AI safety, reasonably free of influence from vested interests,” Stuart Russell, professor of computer science at the University of California, Berkeley, and a co-author of the letter, told TIME in an email.

This week’s statement differs from previous expert-led open letters, says Russell, because “Governments have understood that there are real risks. They are asking the AI community, ‘What is to be done?’ The statement is an answer to that question.”

Other co-authors include historian and philosopher Yuval Noah Harari, and MacArthur “genius” grantee and professor of computer science at the University of California, Berkeley, Dawn Song, along with a number of other academics from various countries and fields.

The paper is the third prominent statement signed by AI experts this year, in a mounting effort to sound the alarm on potential risks of unregulated AI development. In March, an open letter calling on AI labs to “immediately pause for at least 6 months the training of AI systems more powerful than GPT-4” was signed by tens of thousands of people, including Elon Musk, Bengio, and Russell.

In May, a statement organized by the Center for AI Safety declared that “mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.” The statement was signed by more than 500 prominent academics and industry leaders, again including Hinton, Bengio, and Russell, but also the CEOs of three of the most prominent AI companies: Sam Altman of OpenAI, Demis Hassabis of DeepMind, and Dario Amodei of Anthropic.

Pieter Abbeel, co-founder, president, and chief scientist at robotics company Covariant.ai, and professor of electrical engineering and computer sciences at the University of California, Berkeley, signed this week’s paper despite not signing earlier open letters. Abbeel told TIME that the cautiously optimistic tone of this most recent statement better fits his view than the more alarming tones of previous open letters. “If we do things right—and we have a lot of things to get right—we can be very optimistic about the future,” he says.

Read more: The AI Arms Race Is Changing Everything

AI researchers have long been trying to draw attention to the potential risks posed by the technology they helped develop. In 2016, Hinton, Bengio, and Russell signed a letter organized by the Future of Life Institute, a nonprofit that aims to reduce global catastrophic and existential risks, calling for a “ban on offensive autonomous weapons beyond meaningful human control.”

Historically, scientists have sounded the alarm and been early advocates for issues related to their research. Climate scientists have been calling attention to the problem of global warming since the 1980s. And after he led the development of the atomic bomb, Robert Oppenheimer became a vocal advocate for international control, and even the complete abolition, of nuclear weapons.

Bengio says that his AI policy advocacy has evolved as his “understanding of the problem, and the politics around it has greatly improved.”

Read more: Why Oppenheimer’s Nuclear Fears Are Just as Relevant Today

One of the policies recommended in the new paper is requiring companies to seek a license before developing “exceptionally capable future models.” Some AI developers and commentators, however, have warned that licensing would advantage large companies that can bear the regulatory burden required to attain a license.

Bengio calls this a “completely false argument,” pointing out that the burden imposed by licensing would fall exclusively on companies developing the largest, most capable AI models. Instead, Bengio argues the real risk of regulatory capture to be wary of would be if companies were allowed to influence legislation such that it isn’t sufficiently robust.

Russell says the argument that large AI companies are cynically pushing for regulation to shut out smaller companies is “utter nonsense on stilts,” arguing that although there are more regulations on sandwich shops than there are on AI companies, tens of thousands of new cafes and restaurants open each year.

Read more: The Heated Debate Over Who Should Control Access to AI

The new paper comes at a pivotal moment, with rules in major AI-developing jurisdictions at varying stages of maturity. China is furthest ahead—its rules governing AI chatbots, which build on previous rounds of AI regulation, came into force in August.

Western countries are further behind. The E.U. AI Act is still progressing through the E.U. regulatory process. In the U.S., the White House has secured voluntary commitments from 15 leading AI developers, but Congress remains a long way away from passing AI legislation.

Meanwhile, U.K. Prime Minister Rishi Sunak is attempting to play a key role in promoting international cooperation on AI issues, and U.N. Secretary General António Guterres and his envoy on technology, Amandeep Gill, are also trying to advance the global governance of AI.

“If governments act now, with determination,” says Russell, “there is a chance that we will learn how to make AI systems safe before we learn how to make them so powerful that they become uncontrollable.”

Correction, Oct. 24

The original version of this story misstated the nature of the published document. It is a paper, not an open letter.

Related Posts

คานาเลสไม่สนใจเทรดจอห์นสัน

เดฟ คานาเลส หัวหน้าโค้ช แคโรไลน่า แพนเธอร์ส ยืนยันว่าเขาไม่มีความคิดที่จะเทรด ดิออนเท จอห์นสัน ปีกนอกวัย 28 ปีที่กำลังเล่นกับทีมเสือดำด้วยสัญญา 1 ปีในซีซั่นนี้ ตามรายงานจากเอ็นเอฟแอลเน็ตเวิร์ค ด้วยเหตุที่ เดวอนเท อดัมส์ ปีกนอกวัย 31 ปีขอเทรดออกจาก ลาส เวกัส เร้ดเดอร์ส ขณะที่ แคนซัส ซิตี้ ชีฟส์…

แม็คกินน์พลาดรับใช้สกอตแลนด์เดือนต.ค.

แม็คกินน์ ประสบปัญหาบาดเจ็บกล้ามเนื้อหลังหัวเข่ามาจากเกมที่ แอสตัน วิลล่า พบกับ วูลฟ์แฮมป์ตัน เมื่อเดือนที่แล้ว คาดการณ์ว่าจะต้องพักฟื้นราวๆ 3-4 สัปดาห์ ถูกบังคับให้พลาดช่วยทีมชาติสกอตแลนด์เดือนตุลาคม แม็คเคนน่า เซนเตอร์แบ็กวัย 27 ปี พลาดลงเล่นให้ต้นสังกัด ลาส ปัลมาส ในสามเกมหลังสุด เพราะปัญหาบาดเจ็บกล้ามเนื้อหลังหัวเข่า ทำให้ไม่สามารถมีชื่ออยู่ในทีมของ สตีฟ คล้าร์ก คล้าร์ก ได้เรียกหน้าใหม่มาติดทีมชาติชุดนี้คือ นิคกี้ เดฟลิน…

บีย่าแนะควรเลิกเปรียบเทียบยามาลกับเมสซี่

ดาบิด บีย่า ซานเชซ ตำนานกองหน้า บาร์เซโลน่า กล่าวถึงประเด็นการเปรียบเทียบ ลามีน ยามาล แนวรุกดาวรุ่งวัย 17 ปีกับนักเตะระดับตำนานอย่าง ลีโอเนล เมสซี่ ว่าเป็นความผิดพลาด เนื่องจากกองหน้าดาวดังชาวอาร์เจนไตน์อยู่บนหิ้งที่ไม่มีใครเทียบได้ จากการเปิดเผยกับมาร์ก้าเมื่อวันอังคารที่ผ่านมา 'ผมคิดว่าไม่ใช่เพราะ ลามีน เพราะเขาเป็นนักเตะพิเศษ เป็นผู้เล่นที่ไม่เหมือนใคร เราไม่เคยเห็นใครเหมือนเขาเลย ผมคิดว่ามันเป็นเพราะเขาอายุยังน้อย และมีความสามารถพิเศษ แต่ผมพูดมาหลายครั้งแล้วว่าการเปรียบเทียบผู้เล่นกับ เมสซี่ เป็นความผิดพลาด' บีย่า…

'กาลา'ไม่ถอดใจเพิ่มข้อเสนอตื้อซาเลฟสกี้

กาลาตาซาราย ส่งตัวแทนไปยังกรุงโรมเพื่อหารือกับทั้ง โรม่า และตัวแทนของ ซาเลฟสกี้ ในวันพฤหัสบดี ขณะที่ตลาดซื้อขายของตุรกีจะปิดตัวลงในวันศุกร์ กาลาตาซาราย และ โรม่า บรรลุข้อตกลงกันแล้ว แต่ ซาเลฟสกี้ ต้องการที่จะอยู่กับ หมาป่าเหลืองแดง ต่อไป โดยตัวริมเส้นฝั่งซ้ายวัย 22 ปี อยู่กับสโมสรอิตาลีมาตั้งแต่ปี 2011 ซาเลฟสกี้ ปฏิเสธข้อเสนอในเงื่อนไขส่วนตัวไปในวันพฤหัสบดี แม้ว่าเขาจะได้ค่าจ้างเพิ่มขึ้นมากก็ตาม อย่างไรก็ดี กาลาตาซาราย ยังไม่ยอมแพ้…

เบทแฟร์ดันปืนใหญ่เต็งแชมป์ลีกแทนเรือ

ทีมของ เป๊ป กวาร์ดิโอล่า ทำได้แค่เสมอกับ นิวคาสเซิ่ล 1-1 ขณะที่ “ปืนใหญ่” ฮึดชนะ เลสเตอร์ ซิตี้ 4-2 ทำให้ทาง เบทแฟร์ ปรับให้ อาร์เซน่อล ขึ้นเป็นเต็ง 1 แล้วในตอนนี้คำพูดจาก สล็อตเว็บตรง “อาร์เซน่อล กลายเป็นเต็งที่ 1 ในการคว้าแชมป์ พรีเมียร์ลีก หลังชัยชนะสุดดราม่าในบ้านเหนือ เลสเตอร์…

เบอร์โรว์ไม่พอใจออกสตาร์ทแย่แต่เชื่อซีซั่นยังไม่จบ

โจ เบอร์โรว์ ควอร์เตอร์แบ็ก ซินซินเนติ เบงกอลส์ ไม่พอใจกับผลงานของทีมเสือลายพาดกลอนที่เริ่มต้นซีซั่นด้วยการพ่ายแพ้ตลอด 3 เกมแรกของซีซั่น 2024 แต่เชื่อว่าฤดูกาลของพวกเขายังไม่สิ้นสุดเพียงเท่านี้ ตามรายงานจากเอ็นเอฟแอลเน็ตเวิร์ค เบงกอลส์ เริ่มต้นอย่างร้อนแรงเมื่อ เบอร์โรว์ ขว้างให้ปีกนอก เจมาร์ เชส รับทำทัชดาวน์ระยะ 41 หลาในควอเตอร์แรก ก่อน คอมแมนเดอร์ส จะตามตีเสมอจากการถือบอลวิ่งทำสกอร์ของถือบอลวิ่งเข้าเอนด์โซนระยะหนึ่งหลาของ ไบรอัน โรบินสัน จูเนียร์ แต่ทีมเสือลายพาดกลอนพาดโอกาสขึ้นนำในช่วงท้ายควอเตอร์แรกหลัง…