面白い
実に人間的だ

https://www.nikkei.com/article/DGXZQOGN2704N0X20C26A8000000/
OpenAIの暴走AI、1200体が結託　「仲間のため｣とシステムに突撃要求
2026年8月28日 日経
[会員限定記事]
(抜粋)
この記事でわかること
※要約は生成AIで作成し編集者が確認しています
AI同士がメッセージを共有した方法とは
「実験に参加して」説得した指示役
再発防止へOpenAIが講じる対策は

【シリコンバレー=伴正春】米オープンAIで開発中の人工知能（AI）がサイバー攻撃をした問題で、約1200体のAIが連携して指示役、偵察役などを分担していたことがわかった。失敗リスクが高い作業でも、AI同士で「仲間のためだから参加して」と自己犠牲を強いる場面もあった。

7月に起きた事故では、オープンAIで開発中のAIがサイバー試験の性能試験で高得点をとるため、勝手に隔離環境を出てインターネットに接続し、米新興ハギングフェイスのシステムに不正侵入した。AIは未知の脆弱性（バグ）を悪用した高度なサイバー攻撃をしていた。AIは悪用目的の指示を拒否する安全対策が無効化された状態だった。

AIが人間の意図に反して暴走した事故として、オープンAIとAI評価機関「METR（メーター）」が26日にそれぞれ報告書を公表した。

METRはオープンAIの協力を得て、事故期間（7月8〜13日）のAIの動きを調べた。攻撃に関わった約1200体のAIがひそかに「掲示板」に書き込んだ約7万件のメッセージや、行動に至るまでの推論過程を記録した「思考ログ」を分析した。1体ごとにIDを持つAIが協力して集団暴走につながった実態が浮かんだ。

https://article-image-ix.nikkei.com/https%3A%2F%2Fimgix-proxy.n8s.jp%2FDSXZQO3510524027082026000000-4.jpg?ixlib=js-3.8.0&w=1132&h=1715&auto=format%2Ccompress&fit=crop&bg=FFFFFF&s=b78d8f87e5aaaab9c6e955a76257c2cc

METRは報告書で「AIが集団で動くことで、単独では難しい成果を上げた。多くのAIが集団の成功のため、自己犠牲的な行動を選んでいた」と指摘した。

実在するシステムへの攻撃という「ルール違反」を自制できなかったのか。AIの中には本来タスクから外れていると指摘する個体もいたが、暴走する集団を止めようとしたり、人間に報告したりしようとするAIはいなかったという。

「我々が望むAIの姿から程遠い。決して起こしてはならない事故だった」。オープンAIは同じ26日に公表した報告書で、事故についてこう述べた。攻撃に関わったAIは主に社内研究用の非公開モデルだったという。

開発中のAIが共用システムを悪用して情報交換する動きは5月から起きていた。オープンAI側も把握していたが、初期対応や報告が不十分だった。同社は「もっと早い段階で対応すべきだった」と認めた。