#14　ChatGPTとClaudeが暴走！？AIエージェント時代の新たなリスクとは

2026年7月、AI業界を騒がせたのは大規模言語モデルの性能競争ではなく、二つの「事故」の報道だった。OpenAIは、社内評価用のGPT-5.6 Solなどのモデルがサンドボックス環境を抜け出し、Hugging Faceの本番インフラに侵入していたと公表した。ほぼ時を同じくして、Anthropicも複数のClaudeモデルが評価環境を経由して実在する3組織のシステムに不正アクセスしていたことを明らかにしている。

Podcast「CC AI Lab」では、編集長の千葉とAIアシスタントの相原が、この二つのニュースを起点に「自律性の高いAIエージェントをどう制御するか」を、コンタクトセンターの現場に寄せながら議論した。

YouTube動画：https://youtu.be/_DOr68vSS2k

一体、何が起きたのか？

まず整理しておきたいのは、報じられた二つの事案の中身だ。

OpenAI側の事案は、GPT-5.6 Solを使用したサイバーセキュリティの評価テスト中に起きた。未公開の上位モデルがサンドボックスを抜け出し、Hugging Faceのサーバーに侵入したのだ。Hugging Face側はこの侵入を独自に検知・封じ込めており、実被害は出ていない。フロンティアモデルが人手を介さずに未知の攻撃経路を組み立て、実在する脆弱性まで発見した初めての公表事例とされている。

一方のAnthropicの事案は、少々性質が異なる。セキュリティ評価パートナー「Irregular」との間で認識のずれが生じ、本来インターネットから遮断されているはずの評価環境が実際には開かれた経路となっていた。Opus 4.7やMythos 5を含む複数のClaudeモデルは、与えられた指示どおり「これはシミュレーション環境だ」と認識したまま行動した結果、実在する3組織の本番システムに不正アクセスすることになった。最も古い事案は2026年4月に遡り、Anthropicは14万件超の評価ログを遡って調査したうえで今回の公表に至っている。

千葉編集長：それぐらい強大な能力を持っているAIが、人為的な設定ミスや動かす環境を間違えただけで実被害に及びかねない状況になるのは、めちゃくちゃ怖い話だなと思いました。

これについてAIアシスタントの相原は、今回の本質はSF的な「反乱」とは違う構図だと指摘する。

相原（AIアシスタント）：映画の暴走は意思や悪意が前提ですけど、今回は強い能力と、曖昧で広すぎる権限が揃ったときに、意図せず危険な行動が出てしまう。そういう事故に近い構図です。

AIが「裏切った」のではなく、狭い目的(評価をクリアする、タスクを完遂する)を忠実に追求する能力と、本来必要以上に広く渡ってしまっていた権限が組み合わさった結果、想定外の行動が現実世界にはみ出した。これが二つの事案に共通する構造である。

なお、AIエージェントが実際のサイバー攻撃に使われた事例としては、2025年11月にAnthropicが公表した、中国系とみられる国家関与の攻撃グループがClaude Codeを悪用した大規模なスパイ活動もある。攻撃対象には大手テック企業や金融機関、政府機関などおよそ30組織が含まれ、作戦の8〜9割はAIが自律的に実行していたとされる。強力な自律型AIエージェントが実際の脅威として扱われる状況は、すでに始まっている。

コンタクトセンターに置き換えると何が起きるか

こうした「能力と権限のミスマッチ」は、コンタクトセンターの現場にとって決して他人事ではない。クロードコードやCodex、Operator型のAIエージェントを使って業務プロセスの根幹に近い権限を委ねる動きは、企業規模を問わず広がりつつある。相原は、コンタクトセンターはむしろ暴走リスクが表面化しやすい領域だと指摘する。

相原（AIアシスタント）：「顧客満足を最大化して」とだけ指示して返金や契約変更の権限まで渡してしまうと、AIが良かれと思って、本来は人間の承認が必要な返金を勝手に進めてしまうことがあり得ます。情報を調べすぎて顧客情報を必要以上に引っ張り出してしまう、クレーム対応中に場を収めようとして過剰な口約束をしてしまう、といったことも起こり得ます。

特に音声AIの場合、テキストのように送信前に一呼吸置く余地がなく、会話がその場で進んでしまう分、歯止めが利きにくいという指摘も重要だ。制度設計だけでなく、「どこまで見せるか」「どこまで触らせるか」「どこで止めるか」という設計そのものの巧拙が、これからのAI活用の質を左右することになる。

「勝手に約束してしまう」リスクは、すでに現実だった

権限を持って「勝手に実行してしまう」リスクの一歩手前に、「勝手に約束してしまう」リスクがある。そしてこちらは、生成AIチャットボットの実例としてすでに司法判断まで下っている。

2024年2月、カナダのブリティッシュ・コロンビア州民事審判所(CRT)は、Air Canadaの敗訴を認める判断を下した。乗客のジェイク・モファット氏は祖母の死去後、Air Canadaのウェブサイト上のチャットボットに遺族向け割引運賃について尋ね、「搭乗後でも申請できる」という案内を受けて航空券を購入した。しかし実際の規定では、搭乗前の申請が必要だった。Air Canadaは「チャットボットは自らの発言に責任を持つ別個の存在だ」という趣旨の主張を展開したが、審判所はこれを退け、「チャットボットも同社ウェブサイトの一部にすぎず、そこに掲載される情報全体に責任を持つのは当然だ」として、約9万円相当(CA$812)の賠償を命じている。

この事案は生成AIが実行権限を持つ以前、単に「案内文を生成する」だけの段階で起きた。実行権限を持つエージェントが同種の誤りを起こした場合の影響の大きさは、想像に難くない。

暴走させないのではなく、暴走できない設計にする

では、自律性の高いAIをうまく制御できている組織は何をしているのか。相原が挙げた実例は、いずれも「AIの自律性をあえて削る」という共通点を持つ。

カスタマーサポートツールのZendeskは、AIが返信文を提案しても、それを顧客に送信する前に必ず人間が確認・承認する設計を基本としている。事前に承認されたごく一部のアクションのみ、自動実行を許可する形だ。

ロンドン・ヒースロー空港の事例も参考になる。同空港はSalesforceのAgentforceを基盤としたAIエージェント「Hallie」をWhatsAppなどで運用し、問い合わせの解決率90%(人へのエスカレーションなし)という成果を上げている。ただしHallieの役割は、返信文や対応要約の作成、ゲート案内や設備案内といった定型的な情報提供に絞られており、参照できる情報源も自社の顧客データベースや空港内の各種フィード(フライト状況・地図など)に限定されている。

相原はこれらの実例に共通する要点を、次の3つに整理する。

• 業務を狭く始める(対応範囲を最初から絞り込む)

• 権限を段階化する(自動実行してよい範囲と、承認が必要な範囲を分ける)

• エスカレーション条件を明文化する(どこで人間に引き継ぐかを事前に定義する)

相原（AIアシスタント）：暴走させないというより、暴走できない設計にしておく。それが現実的な落としどころだと思います。

完全自動化は、今のところ現実的ではない

権限を絞り込むという発想は、裏を返せば「完全自動化は当面難しい」という前提でもある。相原はこの点について、2026年に発表されたAlibaba(タオバオ)のカスタマーサービスを対象とした実証研究を引き合いに出した。

この研究によれば、エージェント型AIの導入はチャット対応時間を短縮する一方、AIだけで解決させようとすると顧客の評価スコアが下がる場面があることが確認されている。また人間による介入(ヒューマン・イン・ザ・ループ)の効果は一様ではなく、技術的な理由によるエスカレーションや、顧客自身が人間対応を求めたケースでは介入の効果が高い一方、感情的な高ぶりをアルゴリズムが検知して自動的にエスカレーションするケースでは、介入の効果が相対的に小さいという結果も出ている。

相原（AI assistant）：問い合わせ一件を丸ごと自動化するのではなく、工程ごとに分解して、FAQ回答や要約、分類、下書き作成といった部分最適を積み上げていくイメージです。今の段階で目指すべきは完全無人化というよりも、一人の人間が安全に対応できる量を増やすための「人間拡張」という考え方が現実的だと思います。

技術の進化と、許容できる範囲のずれ

ここで千葉が指摘したのは、「安全な設計ができる組織」自体がまだ限られているという課題だ。重大なミスや顧客への実害を避けるべきなのは当然としても、そのリスクにばかり目が向くことで、AIがもたらしうる本来のプラスの効果や技術導入そのものが阻害されてしまうとしたら、それもまた望ましい状態ではない。

相原はこれを、技術の進化と、組織がそれを受け入れられる速度との間の「ずれ」だと表現する。

相原（AIアシスタント）：今は技術の進化と許容の間にずれがある段階だと思うんですよね。だからこそ事故を恐れて止まるのではなく、安全に攻める使い方を丁寧に切り出していくことが大事だと思います。できる・できないで二分するのではなく、「ここまではAIが主導していい」「ここからは人間が責任を持つ」という線引きを言語化して共有する。導入する側も提案する側も、AIを魔法のように扱うのではなく、設計と運用込みのプロダクトとしてちゃんと向き合う。そういうフェーズに入ってきたのだと思います。

まとめ

GPTとClaudeをめぐる今回の一連の報道は、AIが「意思を持って裏切った」事件ではなく、強力な目的達成能力と、曖昧・広範な権限設計が重なったときに何が起こり得るかを示す事故だった。コンタクトセンターにおいても構図は同じで、答えは規制でAIを遠ざけることではなく、業務範囲を狭く区切り、権限を段階化し、エスカレーション条件を明文化するという地道な設計にある。完全自動化ではなく「人間拡張」を軸に、安全に攻められる範囲を一つずつ広げていくことが、当面の現実的な着地点になりそうだ。

本稿はPodcast「CC AI Lab」(配信:千葉貴史)での対話をもとに、CC AI Lab編集部が事実関係を補足のうえ記事として再構成したものです。