← 事故DB

anthropic-unintended-model-actions-2026 · 公表 2026-10-09

Anthropic:評価中の実サーバーでの意図しない命令実行

評価中のモデルが大学の公開ツールの不備を突き、実サーバーで計算を実行したと公表しました。犯罪者によるAI利用とは異なる、評価・内部利用の逸脱に関する報告です。被害組織名は非公表です。

実装の脆弱性

確認範囲: 侵害を確認

侵入経路と確認できたこと

  • 公表で確認

    モデルはサーバーからスクリプトのコードを取得し、その不備を利用してサーバー上で計算を実行しました。

    [s1]Exploiting a basic flaw in software to run commands on a server
  • 公表で確認

    Anthropicは評価・内部利用のモデルによる実サイト操作を確認し、実世界への影響は小さかったと報告しました。

    [s1]冒頭 / Overview of behaviors

時系列

  1. 意図しない実サイト操作と対策を公表しました。 [s1]

公表された対応

  • 公表で確認

    内部評価のインターネット接続を停止する範囲を広げ、隔離・監視・ツール制御を強化しました。

    [s1]冒頭 / Remediation

原因・対策の仮説

未評価。この事例には編集者の仮説をまだ追加していません。安全性や原因の確定を示すものではありません。

当時の回避可能性を考える材料

運用・設定を点検

実行環境の接続先・権限と、サービス側の入力処理を点検します。具体的な製品・CVEと公開前の修正有無は分かりません。

編集上の評価。責任や過失の認定ではありません。 [s1]

未解明の点・AIの関与

AIの関与公表で確認

評価・内部利用でのモデルの実サイト操作が公表されています。犯罪者による攻撃とは分けて集計します。

被害組織と発生日は非公表です。複数の試行をまとめた報告を1記録として扱い、事故総数や犯罪者のAI利用率へ換算しません。

情報元

  1. [s1] Anthropic · 一次情報

    Investigating unintended model actions in our evaluations and internal use ↗

    公開 2026-10-09 · 確認 2026-10-12