AIの回答に参照元を付ければ正しいのか？ コールセンターで根拠表示が効く条件

回答の下に参照元のリンクを並べる機能は、コンタクトセンター（コールセンター）向けのFAQ検索AIやオペレーター支援ツールの標準装備になりつつある。「出典が表示されるので安心です」という説明も、商談の場でよく聞く。では、リンクが付いていれば、その回答は正しいのか。

結論を先に書く。参照元の表示は、担当者や顧客が確かめるための手がかりにはなるが、正しさの保証ではない。リンク先に回答の根拠が実際に書かれているか、版と適用条件が合っているかを照合する仕組みがあって、初めて効く。本稿では、引用の正確さを測った研究の数字を確かめたうえで、回答と根拠がずれる典型と、表示を効かせる条件を整理する。

参照元はどれだけ回答を支えているのか

スタンフォード大学の研究チームが2023年に発表した生成型検索エンジンの検証可能性の研究は、Bing Chatなど商用4サービスの回答を人手で照合し、生成された文のうち引用で完全に裏付けられていたものは平均51.5%だったと報告した。引用の側から見ても、添えられた引用のうち対象の文を実際に支えていたのは74.5%にとどまる。数字は半分だ。リンクは付くが、中身が追いついていない。

2年後、対象を医療に絞った検証が出た。同じくスタンフォード大学のチームがNature Communicationsに2025年4月に発表した研究は、医療の質問800問への7つのLLMの回答から約5万8,000組の「文と出典」の対を照合し、モデルにより50%から90%の回答が、引用した出典に完全には支えられていなかったと報告している。Web検索を組み合わせたGPT-4oでも、個別の文の約30%には出典の裏付けがなかった。

報道の分野にも似た測定がある。コロンビア大学Towセンターが8つのAI検索サービスに記事の出典を尋ねた調査では、6割を超える質問で誤った回答が返った。

もちろん、この3つは対象も測り方も時期も違う。2023年の調査対象のサービスは現在の版と同じではなく、数字を横に並べて優劣を読むことはできない。それでも、分野と時期を変えて測るたびに「リンクは表示されるが、中身の裏付けが揃わない」という同じ形の結果が出ている。特定の製品の出来の問題ではなく、仕組みの性質と受け止めるほうが実態に合う。