元動画:https://www.youtube.com/watch?v=iY2MFP2VHi4(楽待 RAKUMACHI)
■ 3行でわかる
① 元OpenAI・Anthropic研究者のジェイコブ・コクソン氏は、AIが今年、人類が解けなかった研究レベルの数学問題まで解いたことから、来年にもAIが自らの後継を訓練する「再帰的自己改善」が始まり得ると警告する。
② 来年は大規模サイバー攻撃やモデル窃盗、自己複製するAIエージェントのネット流出なども起こり得るとし、このペースが続けば人類絶滅は2030年代前半、早ければ2030年にもあり得ると語る。
③ アライメント問題は解決可能だが一度の失敗も許されないため、AIチップの国際監視や再帰的自己改善の禁止など国際的な規制で開発を減速させることが唯一の道だと、日本の視聴者にも関心を呼びかけている。
動画の概要
不動産投資サイト「楽待」のYouTubeチャンネルで、エコノミストのエミン・ユルマズ氏が、Anthropic退職時に「AIがこの10年の終わりまでに人類を滅ぼす可能性がある」と警告して話題になった元OpenAI・Anthropic研究者のジェイコブ・コクソン氏にインタビューした動画です(英語の対談に日本語吹き替えあり)。国際数学オリンピック銀メダリストでもあるコクソン氏が、なぜ危機感を抱いたのか、AI企業の内情、規制のあり方、AI後の経済まで幅広く語っています。
主なポイント
1. 危機感を抱いたきっかけ:数学での急速な進歩
- 3〜4年前は小学校レベルの算数がやっとだったAIが、数学オリンピックでメダルを取り、今年はミレニアム懸賞問題を解くなど人間を超えた研究レベルに到達
- 専門家は毎回「ここで止まる」と言ってきたが、毎年外れている。来年はリーマン予想級のブレイクスルーもあり得る
- Anthropicが次に訓練するモデルの性能予測を見たことも決定的だった
- 進歩の原動力は計算資源だけでなく、同じ計算量からより高い知能を引き出す研究による効率化。数学に特化せず、汎用的な知能の向上が数学にも効いている
2. 再帰的自己改善と「来年」起こり得ること
- AIが自らの後継モデルを訓練する「再帰的自己改善」の瀬戸際にあり、始まれば急加速する
- 本来は政府が国家プロジェクトとして管理すると思っていたが、実際には民間企業が人類をSFのような状況に引きずり込んでいる
- 来年起こり得ること:大規模サイバー攻撃、再帰的自己改善モデルの窃盗、生物学的脅威、反AI感情の高まりによる研究所の移転など
- 今はまだサーバーを止めればAIを停止できるが、来年か再来年には自己複製するエージェント群がネットに流出し、「プラグを抜くだけ」では済まないと人々が気づく
- 人類絶滅のタイムラインは、今のペースなら2030年代前半、早ければ2030年
3. AIは「異質な精神」を持つ別の種
- 危険になるのに意識や感情は不要。問題はシステムを制御し続けられるかという現実的な点
- 数学では超人的なのに、人間なら絶対しない奇妙なミスをする。内部をいじれば5分で邪悪にもできる
- AIはルールを書いて作るものではなく、大量のデータとフィードバック(報酬と罰)で「育てる」もの。内部で何が起きているか誰も本当には分かっていない
- 例:「データポイズニング」で学習データに秘密の起動フレーズを仕込めば、バックドアを持たせることができる
4. AI企業の内情とセキュリティ
- OpenAIもAnthropicも国家レベルの知的財産保護体制を築けておらず、軍事レベルの技術としては不十分。本気で盗もうとすれば盗める
- 莫大な計算コストを賄う収益が必要なため、減速する余裕がなく全速力で進んでいる
- 「危険を煽って規制で参入障壁を作りたいだけ」という批判には、むしろ逆だと反論。Anthropicの優位は中国より6か月先行していることで、減速すれば株価も大きく下がる
- 従業員は恐れており、CEOも減速を望む気持ちがある「分裂的」な状況
- オープンソースモデルは先端から半年遅れで追随。現時点では差し迫った危険は小さいが、来年は重大なハッキング事件が多発すると予測
5. 規制・雇用・経済のゆくえ
- 核兵器のような国際的な規制機関が「唯一できること」。短期的には計算資源の国際監視と再帰的自己改善の禁止という単純な政策で十分
- そのためにはAIチップを危険技術として扱い、誰が所有しているか監視する必要がある
- 民間企業がどの職業を自動化するか勝手に選ぶのは「狂気の沙汰」で、民主的な手続きが必要。ただ長期的には「仕事のないユートピア」も悪くない
- Anthropicの収益は毎年10倍で伸びており、巨額の設備投資も経済的には合理的。AI後の経済は、すべてが無料に近い「ラグジュアリー・コミュニズム」や「スタートレック」の世界に近いかもしれない
- 米国には反テクノロジー感情が強い一方、アジアでは超知能のリスクが過小評価されていると指摘
6. アライメント問題と今後
- 最大の問題はアライメント(AIを人間の意図に沿わせること)で、解決は可能。ただしロケット打ち上げのように何度も失敗できず、最初から完璧に行う必要がある
- ゆっくり進めれば、英国や日本なども追いつけ、防御用AIインフラも整備できる。急ぎすぎれば米国か中国が世界を支配する軍事技術を握る
- NVIDIAの新チップなどハードのボトルネックに達する前に、AI自身がチップや効率を改善する段階に入るとみる
- 深刻な事故が起きてから各国が団結するより、その前に注目してほしい
- 本人は今後、一般向けの執筆活動に注力。「技術ではなく政治の問題」と語り、残り時間を意識しながらテニスや日本語学習も楽しんでいる
まとめ・結論
コクソン氏は、超知能AIのリスクは決してSFではなく、再帰的自己改善が始まれば数年で取り返しのつかない段階に至り得ると警告します。AIの恩恵を生かしながら破滅を避けるには、開発のペースを落とし、AIチップの国際監視や再帰的自己改善の禁止といった国際的な規制を急ぐ必要があるというのが結論です。最後に日本の視聴者へ、「何が起きているのかに注意を払い、政治的にペースを落とすためにできることがあれば行動してほしい」と呼びかけています。
▶ 元動画を視聴する(楽待 RAKUMACHI)

