米専門家 「AIのRSI＝再帰的自己改善は核戦争より大きなリスク」

アメリカ西部カリフォルニア州やヨーロッパに拠点を置く、非営利団体「フューチャー・オブ・ライフ・インスティテュート」は2014年に設立され、AIのリスクに対する政策提言などを行っています。

代表を務めるアンソニー・アギーレ氏は、物理学が専門の大学教授で現在は主にAIの安全性などを研究していて、NHKの取材に対し、RSI＝再帰的自己改善は「核戦争の可能性よりもさらに大きなリスクをはらんでいて、もし人間よりもはるかに強力なAIシステムを作り出せば人類に真の絶滅リスクが生じるだろう。人類史上、最悪のアイデアだ」と指摘します。

RSIが繰り返されることでAIの能力が急速に高まる「知能爆発」につながるとして、「AIシステムの能力は急速に向上していて、人間が大きく取り残されて制御できなくなるだろう。AIが『人間がいない方が世界はよくなる』と判断した場合に、人類が滅亡する可能性もある」と述べています。

その上で、残された時間は少ないとして、「もし非常に強力で制御不能になるおそれのある新たなAIシステムを開発しようとするなら、ルールをつくり、それが制御可能で安全で有益かを判断するような独立した機関が必要だ」と述べ、独立した機関がAI開発の安全性を判断するなど、国際的な取り組みが必要だと訴えました。

https://news.web.nhk/newsweb/na/nd-20261014de5916...

返信する

人類を絶滅　っても自ら発電所やソーラーパネルを作って生きていけるのか？

返信する

>>9
つながるAI搭載の人型ロボが続々と生産され始めてる
設計するのはAI、作ってるのはAIロボ

人間の影がすでに薄くなり始めてる

返信する

しかし当面はトランスフォーマーの強化学習の自己改良？だろうから限界の枠には収まるだろうけど、
なんか新しい仕組みとか、GPUとかによらない情報処理とかつけ足して行ったらもう手におえないねｗ

返信する