Monzoはなぜ最初に生成AIの返信を全部人が読んだのか ー 英ネオバンクがコールセンターでAIに「直接話させる」前に置いた関門と、公表しない数字

海外事例解説。英国のデジタル銀行Monzoは2026年6月4日、自社の技術ブログでLLMを使った「Ops Agent」の開発記録を公開した。対象はカスタマーサポートと、不正・金融犯罪の報告と調査のワークフローだ。目を引くのは性能の数字ではなく、手順の書き方のほうである。同社は本番投入の最初の段階で、エージェントが書いたメッセージを顧客に届く前にすべて人がレビューし、「安全で価値がある」と確認できてから、顧客と直接会話させたと書いている（同社発表・2026年6月時点）。

核の問いはこうなる。規制の厳しい銀行が、生成AIに顧客と直接話させる前にどんな関門を置いたのか。そして、その関門を通過したことを示すはずの解決率やcontainment率（AIだけで完結した割合）を、なぜ外に出していないのか。先に立場を置くと、この事例から日本のコンタクトセンター（コールセンター）が持ち帰れるのは性能の目安ではなく、「直接話させる」までの順序と、顧客に約束する逃げ道の書き方だと見ている。本稿が言えるのは同社の公表文書に書かれた手順までであり、到達した解決率の水準は、公表されていない以上、言えない。

1. 公表事実の時系列 ー Ops Agentは何段階で顧客の前に出たか

同社ブログの記述を段階ごとに並べる。いずれも同社発表で、各段階の期間や日付は書かれていない。

• 前提（規模）: Monzoの2026年版年次報告では、総顧客数1,520万、月間アクティブ利用者1,040万（同社発表・FY2026）。ブログによれば、顧客が連絡してくる用件（同社内の呼び方でintent）は150種類を超え、数分で終わるものから数週間の調査を要するものまで幅がある。

• 段階1（オフライン評価）: 専門担当者（SME）が「良い解決」と承認した100会話の「golden set」を用意し、エージェントに1メッセージずつ再生させて人の対応と比べた。同社自身が「100会話ではエージェントが出会いうる全会話を代表するには小さすぎる」と書いたうえで、それでも改善の手がかりには使えたとしている。その後、日々の会話を再生する評価へ広げ、SMEが新しい問い合わせのシナリオを試した。

• 段階2（本番・全文レビュー）: 本番投入後、すべてのメッセージを送信前に人がレビューした。目的は二つで、改善用のフィードバックを得ることと、実際の顧客との会話で安全性と有効性を追跡することだ。

• 段階3（直接会話・全件QA）: 安全で価値があると確認できた時点で、顧客と直接会話させた。当初はすべての会話をQA（品質確認）の対象とし、確信が増すにつれて抽出率を下げたと書く。

• 段階4（拡張）: 解決率と対応範囲の拡大に向け、部品単位・回答生成・全体の3層で評価する体制に移行。用件に応じて取引履歴などの顧客情報を渡す仕組みを入れたところ、取引に関する問い合わせの解決が10ポイント改善したとする（同社発表・2026年6月時点）。

• 段階5（手続きの実行）: 回答するだけでなく、手順書に沿って口座情報を読み、操作まで行う段階へ。最初の本番ワークフローは「見当たらない返金を探す」、次が詐欺被害・破損・紛失時の「再発行カードの手配」だ。

仕組みの側では、入力と出力にガードレール（幻覚や規則違反の検知）を置き、どれかが作動すれば会話を人の専門担当者へ引き渡す。回答はSMEが確認した文書群から生成する。使っているLLMの提供元は書かれていない。