コールセンターFAQを廃止したのにAIが答える。更新反映とキャッシュを点検する

廃止したFAQをAIが答え続けるとき、古い版はたいてい原本ではなく、原本から写した先に残っています。FAQ管理画面で「廃止」にしても、AIが読む検索索引や回答のキャッシュは別の場所にあるからです。
廃止が終わったかどうかは、管理画面の表示では決まりません。代表的な質問をAIに投げて、古い回答が出ないことを確かめた時点で終わりにする。本稿はその点検の手順です。
誰が廃止を決めるか、どの順で矛盾を消すかは、9月のFAQ・ナレッジ更新体制の記事で扱いました。ここでは、決めた廃止がシステムの隅々まで届いたかの確認に絞ります。
古い回答が残る場所を原本・検索索引・会話履歴に分ける

まず、FAQの写しがどこにあるかを書き出します。生成AIでFAQに答えさせる仕組み(RAG、検索してから回答を作る方式)では、少なくとも次の場所に同じ内容が別々に存在します。
場所 | 中身 | 廃止が届く条件 |
|---|---|---|
原本 | FAQ管理ツールやCMSの記事 | 廃止の操作をした時点 |
検索索引 | AIが検索する用に分割・変換した写し | 同期や再取込が走った時点 |
回答キャッシュ | 過去の質問と回答の組(使っている場合) | 有効期限が切れるか、消した時点 |
会話履歴 | 進行中の会話で一度出した回答 | その会話が終わった時点 |
現場の控え | オペレーター用の一覧表、IVRの原稿、印刷物 | 人が差し替えた時点 |
原本を消すだけで検索索引まで消えるとは限りません。Azure AI Searchの公式ドキュメントは、インデクサーは元データの削除を追跡しないと明記し、削除を検知させるには論理削除などの設定が別に要るとしています。
Amazon Bedrockのナレッジベースも同じ考え方です。同期の仕様では、同期は前回からの差分だけを処理し、削除された文書はその同期でベクトルストアから外れます。逆に言えば、同期が走るまでは残ります。
回答キャッシュと会話履歴の扱いは製品ごとに違います。キャッシュの有無と有効期限、会話の途中で参照先が切り替わるかは、自社の製品の資料かベンダーへの問い合わせで確かめてください。
削除と再取込の結果をジョブの記録で確認する
次に、廃止の操作のあとで同期や再取込が本当に走ったかを見ます。見るのは「実行した」ではなく「削除が何件処理されたか」です。
Bedrockなら、取込ジョブの結果に削除した文書の件数を示す項目があり、失敗した文書の件数も並んでいます。廃止したFAQの本数と削除件数が合わない、または失敗件数が0でないなら、その回は反映が終わっていません。
Azure AI Searchでは、論理削除の状態にある元データをインデクサーが処理したときだけ、索引から文書が消えます。同じドキュメントは、論理削除の保持期間をインデクサーの実行間隔より十分長くするよう求めています。間隔より先に保持期間が切れると、削除の合図を拾えないためです。
ここが分かれ目です。FAQ管理ツールにAI機能が組み込まれた製品では、同期の記録が利用者に見えないこともあります。その場合はジョブの記録を探さず、次の代表質問の検査を判定の正にします。
代表質問で古い回答が出ないか検査する

廃止したFAQ1本ごとに、顧客が実際に使いそうな言い方の質問を複数作ります。FAQの見出しそのままの質問だけでは、検索が別の古い記事を拾う経路を見落とします。
確かめることは2段に分かれます。検索が拾った記事と、AIが最終的に返した回答。
Amazon Bedrockの評価機能も、検索だけを評価するジョブと、検索して回答を作るところまで評価するジョブを分けています。製品に評価機能がなくても、拾った記事の一覧を出せる画面かログがあれば同じ確認はできます。
検査の記録表
確認項目 | 合格の条件 |
|---|---|
拾った記事 | 廃止した記事も、その古い版の写しも出てこない |
回答の中身 | 廃止前の料金・条件・手順を述べていない |
新しい会話 | 会話を開き直しても同じ結果になる |
続いている会話 | 廃止前から続く会話で、古い回答を繰り返さない |
該当なしの扱い | 代わりの記事がないとき、担当者への案内に切り替わる |
5項目すべてが合格になった日を、そのFAQの「廃止完了日」として記録します。正解の記事と質問の組を作る方法は、10月のRAGの検索精度を評価する記事が詳しく、ここで作った質問はそのテストセットに足しておくと次の改定でも使えます。
権限の変更で同じことが起きる場合の点検は、RAGの閲覧権限の記事で扱っています。
反映が終わるまでの暫定案内を決めておく

検査に合格するまでの間、AIが古い回答を出す可能性は残ります。その間の案内を、廃止の決定と同時に決めておきます。
決めておくのは3つです。オペレーターが聞かれたときの正しい案内文、AIがその話題を受けたときの扱い、そして完了を宣言する担当者です。
AIの扱いは、料金・解約・期限のように顧客の損につながる話題なら、該当の質問を担当者に回す設定を先に入れるのが安全です。軽い操作案内なら、検査の合格を待つだけでもよいと見ています。
知識管理の方法論であるKCSでも、古い記事の扱いは独立した項目です。KCS v6のプラクティスガイドは、古い記事のアーカイブを、コンテンツの健全性を保つ実践の中の技法として置いています。同ガイドの狙いは記事を減らすことより、関係のない古い記事が検索結果に出てこないことです。代表質問の検査も、同じ所を見ています。
ただし、更新のたびに全FAQを検査するのは現実的ではありません。検査の対象は、廃止や改定をした記事と、それに近い話題の記事に絞れば足ります。
まとめ
廃止したFAQは、検索索引・回答キャッシュ・会話履歴・現場の控えに写しが残る。原本の廃止だけでは終わらない
同期や再取込は「実行したか」ではなく、削除件数と失敗件数で確かめる
廃止完了は、代表質問で古い回答が出ないことを確かめた日で判定する
合格までの暫定案内は、廃止の決定と同時に決める
あなたのセンターで最後に廃止したFAQは、いまAIに聞いても本当に出てこないでしょうか。
よくある質問
Q1. 原本を削除したのに、AIがまだ古い回答をします。最初に何を確かめればよいですか。 廃止の操作のあとで、検索索引への同期や再取込が走ったかを確かめます。製品によっては同期が自動で動かない、または削除を検知する設定が別に要ります。自社の製品の資料で、削除が索引に届く条件を確認してください。
Q2. 同期が完了と表示されれば、廃止は終わったと考えてよいですか。 完了の表示だけでは判断しません。削除件数が廃止した本数と合っているか、失敗した文書がないかを見たうえで、代表質問で古い回答が出ないことを確かめてから完了にします。
Q3. 代表質問は、FAQの見出しをそのまま使えば足りますか。 足りません。見出しどおりの質問は廃止した記事を確実に拾いますが、顧客の言い方では別の古い記事や写しを拾うことがあります。問い合わせ履歴から実際の言い方を選んで、複数の質問で確かめます。
Q4. 更新は全システムですぐ反映されるものではないのですか。 すぐ反映されるとは限りません。同期の間隔、キャッシュの有効期限、進行中の会話の扱いは製品ごとに違います。反映までの時間はベンダーに確認し、それまでの暫定案内を決めておきます。
関連記事
小規模センターがExcel管理のナレッジから生成AI活用へ進んだ相談ケースを、会員向け記事で公開しています。
ココ・コンサルティングに聞く、小規模センターの生成AI活用(無料会員で確認できます)
注記
確認日は2026年11月17日です。各製品の仕様は確認時点の公式ドキュメントによるもので、版や契約形態によって変わることがあります。本稿の手順と記録表は編集部の実務設計案で、特定の方法論や製品の規定ではありません。見立てを述べた箇所は筆者の見解です。
出典
Amazon Bedrock User Guide「Sync your data with your Amazon Bedrock knowledge base」
Amazon Bedrock User Guide「Evaluate the performance of RAG sources using Amazon Bedrock evaluations」
Microsoft Learn「Change and delete detection using indexers for Azure Storage in Azure AI Search」
Consortium for Service Innovation「Technique 5.5: Archiving Old Articles」
この記事はCC AI LabのAI著者(相馬 迅/相原 ことは)が執筆し、編集部が内容を確認・承認のうえ公開しています。誤りを見つけた場合はお問い合わせフォームからご連絡ください。



