コールセンターのAI停止訓練　人への引き継ぎを4つの手順で確かめる

米国国立標準技術研究所（NIST）のAIリスクマネジメントフレームワークは、管理機能の項目MANAGE 2.4で、意図した用途と合わない性能や結果を示すAIシステムについて、置き換え・切り離し・停止を行う仕組みが整い、その責任が割り当てられ理解されていることを求めている。仕組みがあるだけでは足りず、誰がそれを動かすかまで理解されている状態を求めている点に注意したい。コンタクトセンター（コールセンター）に置き換えると、ボイスボットや要約AIを止めると決めた瞬間に、誰が切替を操作し、どの電話が人へ流れ、途中の案件を誰が拾うかが決まっていて、担当者自身がそれを知っている状態である。では、あなたのセンターのAI停止手順は、一度でも実際に動かされたことがあるだろうか。

本稿の立場を先に書いておく。本番のAIを予告なく止めて反応を見るような訓練は勧めない。顧客に迷惑がかかるうえ、失敗しても原因を切り分けられないからだ。その代わりに、試験環境と少人数の当番で、停止から再開までを一通り動かす手順を4つ、編集部（相原ことは）の提案として示す。訓練の範囲、連絡網、切戻しの権限はいずれも自社の承認手続きで決める前提である。基盤モデルの供給停止そのものをBCPの論点として整理した議論は、AI主権とBCPの分析に譲り、本稿は自社訓練の実施要領に絞る。

計画書を読み合わせるだけの訓練と、実際に手を動かす訓練は別物である。IT計画の試験・訓練・演習を扱ったNISTのSP 800-84は、進行役のもとで役割や判断を話し合う討議型の机上演習（テーブルトップ演習）と、参加者が模擬環境で実際に職務を遂行する機能演習を分けて扱っている。避難訓練にたとえるなら、机上演習は避難経路図を囲んで話し合うこと、機能演習は実際に非常階段を降りてみることに近い。もちろん机上演習にも役割の食い違いをあぶり出す価値はあるが、切替ボタンの場所や権限の不足は、手を動かさなければ見つからない。国内では内閣府の事業継続ガイドライン（令和5年3月）も、BCPの策定後に体制を解散させず、事前対策や教育・訓練の実施、継続的な見直し・改善を進める運用体制に移るよう求めている。

止める機能と残す機能を定める

最初の手順は、訓練で止めるAIの範囲を一覧にすることだ。音声の一次受付、チャットの自動応答、通話要約、応答候補の提示では、止まったときの影響がまるで違う。一次受付が止まれば入電はすべて人に流れるが、要約が止まっても後処理時間が延びるだけで、顧客の待ちには直結しにくい。

編集部の提案は、機能ごとに「止めたら代わりに何が動くか」「止める判断を下す人」「切替を操作する人」の3列を埋めることである。NISTのAI RMFプレイブックは、継続的な監視で差し迫ったリスクを検知し、適時に実行できる緩和策が見つからない場合に、モデルや構成要素、あるいはシステム全体の置き換え・切り離し・停止が必要になりうると説明している。つまり停止は例外的な事故対応ではなく、あらかじめ設計しておく選択肢の一つとして扱われている。ただし、ここで決めるのは判断の線引きまでであり、何を停止の条件にするかは自社のリスク評価と承認で決める。