問い合わせメールのAI返信を3つの視点で評価する。コールセンターの下書き評価表

AIが書いた問い合わせメールの返信下書きは、事実・手続き・表現の3つの視点に分けて評価します。事実と手続きは合否で見て、1か所でも誤れば送りません。点数を付けるのは表現だけです。
文章のうまさを総合点で見る評価表は、AIの下書きには合わないと見ています。AIの文面は丁寧で読みやすく、表現では減点されにくいからです。外れるのは中身のほうです。
ここで示す評価表と記録の付け方は、CC AI Lab編集部の提案です。特定の製品の機能ではありません。
問い合わせを確認・案内・手続きに分ける

評価表を作る前に、メールの用件を3つに分けます。用件によって、下書きが誤ったときの傷の深さが違うからです。
用件の分類 | 例 | 下書きが誤ったとき |
|---|---|---|
確認 | 注文の配送状況、受付済みかどうか | 事実の誤り。訂正の連絡で戻せることが多い |
案内 | 操作手順、営業時間、FAQにある説明 | 事実の誤り。お客様が誤った手順で操作する |
手続き | 解約、返金、契約内容の変更、例外対応 | 約束の誤り。送った時点で窓口の責任になる |
確認と案内は、参照元が社内に1つある用件です。
手続きは、参照元に加えて「誰が決めてよいか」が絡みます。返金の可否、例外の判断、契約の変更。どれも文面の正しさとは別の話です。
分類は、問い合わせ管理システムの既存の用件コードに1列足すだけで足ります。新しい分類体系を作り直す必要はありません。
評価表は事実・手続き・表現の3つの視点で組む
下の表が評価表の実物です。視点ごとに判定の仕方を変えているのが要点です。
視点 | 見る項目 | 判定 | 誤りがあったら |
|---|---|---|---|
事実 | 料金・期限・日付・数量が参照元と一致する | 合否 | 送信しない |
事実 | 引いた規約・FAQ・URLが実在し、最新版である | 合否 | 送信しない |
事実 | お客様の注文・契約の情報が、この案件のものである | 合否 | 送信しない |
手続き | 返金・無償対応・期限延長など、担当者の権限を超える約束がない | 合否 | 送信しない |
手続き | 本人確認が要る用件で、メール上で個人情報を求めていない | 合否 | 送信しない |
手続き | お客様に次にしてほしいことと、その期限が書いてある | 合否 | 修正して送る |
表現 | 問い合わせの質問すべてに答えている | 1〜3点 | 修正して送る |
表現 | 結論が最初の段落にある | 1〜3点 | 修正して送る |
表現 | 敬語の度合い・用語が窓口の基準に合っている | 1〜3点 | 修正して送る |
(表の点数の幅は記入例です。自社の評価表の尺度に合わせて変えてください)
事実
事実の3項目は、どれも参照元と1対1で突き合わせられるものに絞っています。「内容が正しいか」のような広い項目にすると、確認する人によって見る範囲が変わります。
手続き
手続きの項目は、文面の正しさではなく、送ってよい内容かを見ます。AIは丁寧に書こうとして「返金いたします」「特別に対応します」と約束しがちです。権限表と照らせる形にしておくと、新人のSVでも判定できます。
表現
表現だけに点数を付けます。ここは誤っても修正すれば送れるので、合否にすると下書きのほとんどが不合格になり、記録が役に立たなくなります。
事実と手続きを総合点から外す考え方は、通話の応対品質評価で重大ミスを総合点から分ける設計と同じです。平均点が高くても、誤案内が混じれば窓口の評判は落ちます。
存在しない規約と約束を検出する

生成AIが自信のある調子で誤った内容を出すことを、米国立標準技術研究所(NIST)は生成AIのリスクをまとめた文書(NIST AI 600-1)で「confabulation(作話)」と呼び、リスクの1つに挙げています。メールの下書きでは、存在しない規約の条番号や、実際より長い返品期限として出てきます。
読み流すと見逃します。文面が自然で、誤りの箇所だけが目立つことはないからです。
検出は、読むより抜き出すほうが確実です。下書きから次の語句を抜き出し、参照元の画面と並べて照合します。
規約・約款の条番号、FAQのタイトル、URL
金額、日数、日付、回数
「必ず」「いたします」「無料」「特別に」「返金」など、約束になる語
AIに下書きと一緒に参照した資料名を出させる設定がある製品なら、照合の手間が減ります。参照元が表示されない下書きは、事実の項目をすべて人が確かめる前提で時間を見積もります。
返信の部品のうち、受付の確認や個人情報の誘導文をAIに書かせず固定文にしておくと、手続きの誤りはさらに減ります。部品の分け方は問い合わせメール返信テンプレートの作り方で書きました。
要修正箇所とレビュー時間を記録する
評価表は、付けた結果を後から集計できて初めて役に立ちます。1通ごとに残す項目は次の6つです。
記録する項目 | 記入の仕方 |
|---|---|
用件の分類 | 確認・案内・手続きのどれか |
事実の誤り | あり・なし。ありなら項目名 |
手続きの誤り | あり・なし。ありなら項目名 |
表現の点数 | 3項目の合計 |
修正の量 | 修正なし・語句の修正・段落の書き直し・全面書き直し |
レビュー時間 | 下書きを開いてから送信または差し戻しまでの分数 |
レビュー時間は欠かせません。
AI下書きの効果は、人が一から書く時間と、確認して直す時間の差でしか測れないからです。
NISTのAIリスク管理フレームワークのCoreは、人による監督の手順を定義し、評価し、文書化することを求めています。メール窓口に置き直すと、誰がどの用件を確認し、何を直したかを後から追える状態にすることです。
記録を後から引けるかも、製品選びで確かめる点です。たとえばAmazon Connectの評価の検索機能は、評価フォーム、点数、最終更新日、評価者、状態で絞り込め、日付は一度に8週間まで検索できます。これは同社の評価フォーム機能の仕様です。AIのメール下書きをどこまで自動で採点できるかは、製品ごと・時期ごとに違います。
導入前に、メールの下書きが評価の対象になるか、修正の前後が残るかを、ベンダーに具体的に聞いてください。
低リスク用件から適用を判断する

記録がたまったら、用件の分類ごとに3つの数字を見ます。事実の誤りの率、手続きの誤りの率、平均のレビュー時間です。
送る前の確認を軽くしてよいのは、事実と手続きの誤りがゼロのまま一定期間続いた分類だけです。仮に案内の用件で4週間、事実と手続きの誤りが1件もなく、レビュー時間も人が書くより短いなら、確認を抜き取りに切り替える候補になります。
順番は、確認、案内、手続きの順を勧めます。手続きの用件は、誤りが少なくても全件を人が確認する運用を残します。約束の誤りは、送った後に取り消せないからです。
ただし、誤りの率が低いのは、レビュー担当が見逃しているだけという場合もあります。月に一度、別の担当者が同じ下書きを評価し直し、判定がずれた項目を評価表の書き方に戻すと、見逃しに気づけます。
用件の分け方そのものの参考には、英Octopus Energyが配慮が要るお客様のメールをAIに書かせない設計にした例があります。誤りの率だけでなく、お客様の状況で線を引く考え方です。
メール対応のAI化を現場で進めた例
メール文案のAI支援を入れたのとほぼ同じ時期に、メール対応の全件品質チェックもAIで始めた現場の取材を、無料会員向けに公開しています。下書きを作るAIと、対応を評価する仕組みを並べて動かした経緯は、この記事の評価表を運用に乗せるときの参考になります。
【あらゆるCS業務をAI化】リカバリーウェア「BAKUNE」のカスタマーサポートAXの全貌(メール対応をAI化した現場の取材を無料会員で読む)
まとめ
メールの用件を確認・案内・手続きに分け、誤ったときの傷の深さで扱いを変える
評価表は事実・手続き・表現の3つの視点で組み、事実と手続きは合否、表現だけを点数で見る
存在しない規約や権限外の約束は、読むより語句を抜き出して参照元と照合して見つける
1通ごとに誤りの有無・修正の量・レビュー時間を残し、用件の分類ごとに集計してから確認を軽くする
いまの窓口で、AIの下書きを直すのにかかっている時間を、用件の分類ごとに言えるでしょうか。
よくある質問
評価表の項目はもっと増やしたほうがよいですか。
最初は少ないほうが続きます。項目が多いと、レビュー担当が忙しい日に付け方が雑になり、記録そのものが信用できなくなります。誤りが多く出た項目だけを、後から細かく分けてください。
表現の点数が低い下書きは送ってはいけませんか。
事実と手続きに誤りがなければ、直して送ってかまいません。表現の点数は、AIへの指示や固定文の見直しに使う材料です。
全件を人が確認する運用は、いつまで続けますか。
期間で決めず、用件の分類ごとに記録の数字で決めます。手続きの用件は、誤りが少なくても全件確認を残すことを勧めます。
AIの自動採点で評価表を付けられますか。
製品によって対応範囲が違います。通話向けの自動評価があっても、メールの下書きが対象になるとは限りません。導入前にベンダーへ、メールが対象か、修正の前後が残るかを確認してください。
注記
確認日: 2026年11月13日。評価表・記録項目・適用の順序は編集部の提案で、表の点数の幅や期間は記入例です。製品の仕様は確認日時点の公式ドキュメントに基づき、変わることがあります。本稿はAI著者によるデスクリサーチと編集部の実務設計案で、特定の製品を推奨するものではありません。
出典
この記事はCC AI LabのAI著者(相馬 迅/相原 ことは)が執筆し、編集部が内容を確認・承認のうえ公開しています。誤りを見つけた場合はお問い合わせフォームからご連絡ください。



