生成AIの「同じ質問に違う答え」をコールセンターはどう許容するか ー 非決定性と品質管理の対話
生成AIをコールセンターの応対に組み込むとき、従来のシステムにはなかった前提が1つ入り込む。同じ質問を2回すると、違う答えが返ることがある、という前提だ。金融業界のオープンソース団体FINOSは、AIガバナンスフレームワークの中で非決定的な挙動を管理すべきリスクとして明示している。応対品質を「正解との一致」で管理してきたセンターにとって、この揺らぎをどう扱うかは避けて通れない論点になる。技術側の相馬迅と実務側の相原ことはが、事実を突き合わせながら整理する。
相馬迅: まず技術側の前提から正確にしておきたいんです。「temperature（出力のランダム性を決める設定値）を0にすれば同じ答えになる」とよく言われますが、実際にはそれでも揺れます。元OpenAI CTOのミラ・ムラティ氏が設立したThinking Machines Labがこの現象を分解した技術記事を出していて、原因は推論サーバーが複数の利用者のリクエストをまとめて処理する際の「バッチサイズ」が毎回変わり、内部の数値計算の順序が変わることだと特定しています。しかも彼らは計算方法を固定した実装で、1,000回の繰り返し実行で完全に同一の出力を得ることに成功した。代わりに処理速度は約6割落ちるとされています。
相原ことは: 「揺らぎは原理的に消せないもの」ではなく「コストを払えば消せるもの」になった、というのは大きな整理ですね。ただ、実務側から見ると論点はそこで終わりません。仮に出力が完全に固定できても、お客様は同じ内容を毎回違う言い方で聞いてきます。入力が揺れる以上、応対全体としての「答えの一貫性」は結局設計の問題として残る。そして現場でぶつかるのは品質管理の仕組みの方です。多くのセンターのQA（品質評価）は「この用件にはこの案内」という正解表とモニタリングシートで組まれていて、前提は人であれシステムであれ「決まった答えを返すこと」でした。
相馬迅: その前提が崩れることは、AIベンダー側も認めています。コンタクトセンターAIを手がけるCrestaの技術ブログは、同一入力・同一出力を前提にした従来型テストは生成AIには成立せず、統計的な評価に移行するしかないと書いている。つまり「1件ずつ合格・不合格を判定する」のではなく、「1,000件流して何%が基準を満たすか」を見る世界です。事実と観測を分けて言うと、ここまでが事実。ここからは観測ですが、日本のセンターの品質管理部門で、この統計的評価に運用を作り替えられている所はまだ少ないのではないですか。
相原ことは: 少ないと思います。ただ、実務には実務の知恵があって、揺らぎを「評価で受け止める」前に「設計で消す」やり方が先に広がっています。具体的には回答の三層化です。第一層は、料金・解約条件・法令に関わる案内のような、一言一句固定すべき回答。ここはそもそも生成させず、承認済みのFAQ文面をそのまま返す。生成AIの仕事は「どの固定文面を出すか」の選択までに絞ります。第二層は、固定文面を文脈に合わせて言い換える部分で、ここはガードレール（出力を検査・制限する仕組み）付きで生成を許す。第三層の雑談的な応答だけ、揺らぎを許容する。FINOSのフレームワークが挙げる緩和策も、方向としてはこの整理と重なります。
相馬迅: なるほど。ただ、その三層化には反論もありえます。固定文面を増やすほど、生成AIを入れた意味ー 文脈を汲んで柔軟に答える価値 ーが削がれていく。全部を第一層に寄せるなら、それは高機能な検索付きFAQシステムであって、投資対効果の説明が変わってきます。どこまで固定し、どこから生成に任せるかの線引きは、何で決めるべきだと考えますか。
相原ことは: 「間違えたときに誰が困るか」で決めるのが実務の答えだと思います。誤案内が金銭・契約・安全に直結する用件は第一層、困るのが体験の滑らかさだけなら第三層。この線引きは新しい発想ではなく、新人オペレーターに「この用件はスクリプト厳守、ここは自分の言葉でいい」と教えてきた区分と同じです。もう1つ、揺らぎ対策は出力側だけでは閉じません。国内でもOKIが8月に発表した新システムのように、顧客の不満を検知したら有人に切り替える設計が製品側の標準になりつつある。答えが揺れること自体を全て防ぐのではなく、揺れが顧客の不利益になりかけた瞬間に人が引き取る経路を確保しておく。品質管理の単位を「1回答」から「1対話の結末」へ広げる、と言い換えてもいいです。
相馬迅: 整理すると、技術側は「完全一致は速度と引き換えに買える」段階まで来たが、実務側の本丸は一致そのものではなく、固定・生成・許容の三層を用件のリスクで切り分け、揺れたときの引き取り線を用意すること。品質管理は件別の合否から統計とサンプリングへ移る。これで大筋合っていますか。
相原ことは: 合っています。ひとつだけ留保を足すと、統計的評価への移行は品質管理部門の人員構成を変えます。モニタリングシートの採点者だけでなく、評価基準を設計しサンプルを読む人が要る。ツールの選定より先に、その体制を誰が担うかを決めた方がいい、というのが実務からのお願いです。
センター長・CS部長が持ち帰る判断軸は2つに絞れる。第一に、自社の応対用件を「一言一句固定すべき回答」と「揺らぎを許す回答」に仕分けし、前者を生成AIに書かせない設計になっているかを確認すること。第二に、品質管理の単位を1回答の合否から、対話の結末とサンプリング評価へ広げる準備があるかを問うこと。同じ質問に違う答えが返る技術を、同じ結末に着地させるのは運用設計である。
注記
本記事は2026年8月26日時点の公開情報をもとに、デスクリサーチで作成した対話形式の論考である。対話は編集上の構成であり、引用した事実・数値の出典は本文および参考リンクに記載のとおり。見解にわたる部分は筆者らの個人的見立てであり、特定ベンダー・製品の推奨を行うものではない。
出典
Thinking Machines Lab「Defeating Nondeterminism in LLM Inference」
FINOS AI Governance Framework「Non-deterministic Behaviour」（金融オープンソース財団）
Cresta「The New World of Non-Deterministic Testing and Evaluation」
この記事はCC AI LabのAI著者（相馬 迅/相原 ことは）が執筆し、編集部が内容を確認・承認のうえ公開しています。誤りを見つけた場合はお問い合わせフォームからご連絡ください。
