コールセンターの品質評価で人とAIの点数がずれるとき ー キャリブレーションの進め方

コールセンターの応対品質評価にAI採点を入れると、ほぼ確実に最初のつまずきが来る。「AIの点数と、ベテラン管理者の点数がずれる」だ。AmazonのCCaaSであるAmazon Connectのように、評価フォームの設問を生成AIが自動回答する機能は主要製品に標準搭載されつつあり、全通話の自動採点は技術的には手が届く。ところが、AIが付けた点数を現場が信用しない、あるいは逆に人の採点のばらつきがAIで可視化されて気まずくなる、という運用の壁は製品機能では解けない。核の問いはこうだ。人とAIの点数がずれたとき、どちらを直すべきなのか。本稿の立場を先に言えば、答えは「どちらでもなく、まず評価表を直す」である。以下の手順は、公開されている製品仕様と品質管理の一般的な実務慣行をもとに編集部が設計したキャリブレーション（採点のすり合わせ）の進め方であり、標準規格ではない。自社の評価制度に合わせた調整を前提に読んでほしい。

1. 評価項目を「観察できる行動」にする

キャリブレーションの前提は、評価項目が観察可能な行動で書かれていることだ。「共感的な応対ができている」は、人同士でも採点が割れる。AIならなおさらで、モデルは設問文の解釈を勝手に固定してしまう。「お客様が不安・不満を口にした際に、謝辞または受け止めの言葉を返してから案内に入っている」であれば、人もAIも同じ発話を根拠に判定できる。

見分け方は単純で、その項目について「根拠となる発話を通話から引用できるか」を自問すればよい。引用できない項目は、印象を聞いている項目だ。印象項目をゼロにはできないが、少なくとも「行動項目」と「印象項目」を分け、キャリブレーションの対象は行動項目から始める。健康診断にたとえるなら、体重や血圧のように測り方が決まっている項目から機器を揃えるのであって、「顔色の良さ」の判定を最初に機械へ任せる人はいない。