コールセンターAIのUAT　更新前に現場が確かめる4つの項目

スタンフォード大学などの研究者がHarvard Data Science Reviewに発表した論文は、2023年3月版と6月版のGPT-4に同じ問題を解かせ、素数か合成数かを見分ける課題の正答率が84%から51%に下がったと報告している。利用者が何も変えていなくても、提供側の更新でAIのふるまいは変わりうるということだ。コンタクトセンター（コールセンター）では、これに自社側の変更が重なる。プロンプトの修正、ナレッジの差し替え、ボイスボットの意図（インテント）の追加、フローの分岐変更である。では、改修したAIを本番に戻してよいと、誰がどの条件で決めているだろうか。

本稿の立場を先に書く。初期導入の可否を決める試験はPoCの評価項目の記事で扱った。本稿が扱うのは、すでに稼働しているAIに変更を入れるときの受入テスト（UAT）である。米国国立標準技術研究所（NIST）のAIリスクマネジメントフレームワークは、MANAGE 4.1で、利用者などからの意見の収集、異議申立てと上書き、廃止、インシデント対応、復旧、変更管理を含む導入後の監視計画が実施されていることを求めている。つまり変更管理は導入後の運用に組み込む前提で書かれている。以下の4項目は、その運用を現場の言葉に置き換えた編集部（相原ことは）の提案である。手順・権限は自社の変更管理規程と照合して決めてほしい。

UATという言葉も確認しておく。ユーザー受入テストの略で、実際に使う人がそのシステムを受け入れられるかを確かめる試験を指す。ソフトウェアテストの国際資格団体ISTQBは受入テストの資格を設け、UATを契約上・規制上の受入テストやアルファテスト、ベータテストと並ぶ対象として扱っている。改装した店舗を、開店前に店長が客の動線どおりに歩いて確かめる作業にたとえられる。設計者の確認とは別に、使う側の目で通すところに意味がある。

変更点と影響用件を一覧化する

1つ目の項目は、今回の変更で何が変わり、どの用件に響くかを1枚にすることだ。AIの変更は見た目より影響範囲が広い。たとえば住所変更の案内文を直すつもりでナレッジを差し替えると、同じ文書を参照していた請求や解約の回答まで変わることがある。

編集部の提案は、変更ごとに「変更の種類（プロンプト／ナレッジ／モデル／フロー／連携先）」「直接の対象用件」「同じ部品を使う周辺用件」「顧客に見える変化の有無」の4列を埋めることである。部品を共有している範囲が分かれば、試験の範囲も決まる。Amazon Connectのフローのベストプラクティスは、フローをできるだけ小さく作り、小さな部品を組み合わせて全体を構成すれば、管理しやすくなり回帰試験の回数を減らせると説明している。回帰試験とは、直した箇所以外が壊れていないかを確かめ直すことで、配線工事の後に関係ない部屋の照明まで点けて回る作業に近い。部品が小さいほど、点けて回る部屋は少なくて済む。

モデルの更新を提供側が行う場合も、この一覧に載せる。先の論文が示したのは、名前が同じモデルでも時期によって結果が変わりうるという事実である。もっとも、その数字は数学の課題での測定であり、自社の問い合わせ応対で同じ幅の変化が起きると読むのは単純比較にすぎる。言えるのは、提供側の更新も自社の変更と同じく受入の対象になる、という点までである。