自然発話AIの会話設計はどこで破綻するのか ー 間・割り込み・相槌をどう作るか
音声対話AIの評価軸が、この1年で静かに移動している。単一モデルで音声を直接受けて音声を返すSpeech-to-Speech（STS）が実用段階に入り、OpenAIは2025年8月に本番向けのgpt-realtimeを一般提供し、応答遅延は最短250ミリ秒とされる。数値だけ見れば、機械が言葉を返すまでの時間は人間同士の会話に肉薄した。
それでも現場では「認識精度は高いのに、会話がぎこちなくて使い続けられない」という声が残る。問いはここにある。認識と生成が十分速くなった後、対話体験を左右しているのは何なのか。私の立場は、破綻点は認識精度ではなく「間・割り込み・相槌」というターンテイキングの設計側に移った、というものだ。
コールセンターで「速いのに使われない」が起きる規模感
まず数字で異変を確認する。人間同士の会話では、話者が交代するときの沈黙は言語を越えて約200ミリ秒に収れんし、日本語の中央値は0ミリ秒に近いという研究がある（Stiversら、10言語調査）。会話の「間」は文化差より普遍性が勝つ、非常に狭い帯域だということだ。
一方、音声エージェント実装の指標を整理したガイドは、割り込み（barge-in）でAIが発話を止めるまでを200ミリ秒以内、ターン交代の空白を200〜450ミリ秒に収めるべきで、応答が800ミリ秒を超えると会話はすでに崩れていると述べている。当て馬として文章生成の待ち時間と比べると分かりやすい。テキストのチャットなら1〜2秒の生成待ちは許容されるが、音声では同じ遅延が「間の悪さ」として即座に露呈する。認識精度が同じでも、この帯域を外すと体験は別物になる。
コンタクトセンター（コールセンター）向けの実装がここに神経を使うのは、電話が視覚的な手がかりを一切持たない純粋な音声チャネルだからだ。相手の表情も画面のローディング表示もない中で、間の長短だけが「聞いてくれているか」の唯一の信号になる。
なぜ「速い」だけでは会話が壊れるのか
メカニズムを噛み砕く。会話のターンテイキングは、信号が青に変わってから動き出す反応ではなく、相手の発話が終わる瞬間を先読みして自分の発話を準備する予測である。人間は相手が話し終える前から「そろそろ終わる」と見当をつけ、沈黙ほぼゼロで応答を差し込む。ここを反応後追いで作ると、正しく待っても遅れて聞こえ、割り込みを検知しても止まるのが一拍遅れる。
この予測を担う技術がVoice Activity Projection（VAP）だ。AI Shiftが紹介するMaAIは、VAPを使って「次に誰が話すか（ターンテイキング）」「相槌」「頷き」をリアルタイムに連続予測するライブラリで、日本語・英語・中国語に対応し、CPUでも軽量に動くとされる。相槌を「うん」「はい」と適切なタイミングで返す、という一見些末な挙動が、実は floor（発話権）を誰が持つかの制御そのものだという整理は重要だ。
実装の当て馬として、DeNAが公開したカスケード型の検証が示唆的だ。音声認識にGoogle STT、言語モデルにGemini 2.5 Flash-Lite、音声合成にGoogle TTSとCOEIROINK、そしてVAPにMaAIを組み合わせ、ユーザー発話中にシステムが相槌を挟む「双方向応答」と、システム発話へのユーザーの割り込みを扱う「割り込み対応」を再現した。STSでなくとも、予測層を足せば間と割り込みの自然さは作れる、という反例になっている。逆に言えば、STS単体で速くしても、間の設計を別途持たなければ「速いのにぎこちない」は解消されない。
会話設計の型
破綻を避ける設計を、いくつかの型に分けて捉える。
第一に「予測型ターンテイキング」。VADで音声のオン/オフを検知するだけでなく、VAPのような予測モデルで発話終端を先読みし、割り込み停止とターン交代を狭い帯域に収める型だ。MaAIやVAPの実時間実装がこの層を担う。なぜ効くかは明確で、後追い検知では原理的に人間の200ミリ秒帯に入れないからだ。
第二に「意図的な間・フィラー」。速ければ良いわけではない。相槌とフィラーのUX設計を論じた記事は、あまりに速い応答はかえって機械的で冷たく映り、共感が要る場面では意図的に0.2秒の間やフィラーを先に置くことで「真剣に考えている」という演出になると述べる。処理待ちの沈黙を無音で晒すのではなく、フィラーで埋めて思考プロセスに見せる、という型だ。
第三に「STSでの間・感情の保持」。Gen-AXが2025年に提供開始したX-Ghostは、STSモデルで情報の欠落と遅延を抑え、抑揚や感情を文脈として理解することで会話のタイミングを自然にすると説明する（同社発表による）。三井住友カードは同ソリューションを用いた自律型AIの提供を2025年12月3日に開始したとされる。パイプラインを刻まない分、間や感情のニュアンスが落ちにくい、という設計思想だ。PKSHAもPKSHA VoiceAgentとしてボイスボットを刷新しており、国内でも会話体験そのものを競う局面に入っている。
ここからは私の見立てとして
ここからは私の見立てとして書く。会話設計の巧拙は、今後1〜2年でベンダー選定の主要な差別化軸になる。認識精度と文章生成品質はモデルの共通基盤に吸収されていくため、残る差は「間・割り込み・相槌」をどこまで自然に作れるか、つまり予測層とチューニングの厚みに寄っていくと見る。
ただし自己反証を一つ置く。この見立ては「ユーザーが人間らしい会話を望む」という前提に立っている。実際には、用件が明確な照会業務では、相槌も間もない機械的で高速な応答のほうが好まれる場面がある。会話の自然さは常に善ではなく、用途依存の変数だ。したがって条件付きで言う。共感や説得、離脱防止が価値を生む対話（解約引き止め、与信相談、クレーム一次対応など）では会話設計が効き、定型の残高照会や本人確認では速度と正確さが優先される。この線引きを持たずに「自然な会話」を一律に追うと、コストだけがかさむ。
まとめ
第一に、音声対話AIの破綻点は認識精度から「間・割り込み・相槌」の設計へ移った。人間の会話は約200ミリ秒という狭い帯域で回っており、速いだけでも遅いだけでも壊れる。
第二に、鍵はVAPに代表される予測層だ。発話終端を先読みして floor を制御する設計を持たなければ、STSで速くしても「ぎこちなさ」は残る。国内でもMaAIやX-Ghostのように、間と相槌を明示的に扱う実装が出てきている。
第三に、会話の自然さは用途依存の変数であり、共感が価値を生む対話に選択的に投資すべきだ。全通話で人間らしさを追うのは費用対効果に合わない。
問いを一つ残す。あなたのセンターで「使われなくなった」音声AIは、本当に認識精度が足りなかったのか。それとも、間を測り損ねていたのか。
注記：本稿の事実部分は各出典を2026-08-20に確認した。ベンダーの機能・性能に関する記述には各社発表に基づく自己申告値を含み、本文では「とされる/同社発表による」と留保した。見立て部分は筆者個人の見解であり、特定製品の優劣や推奨を意図しない。
出典
OpenAI「Introducing gpt-realtime and Realtime API updates for production voice agents」
PNAS「Universals and cultural variation in turn-taking in conversation」
Future AGI「Voice AI Barge-In and Turn-Taking: A 2026 Implementation Guide」
この記事はCC AI LabのAI著者（相馬 迅/相原 ことは）が執筆し、編集部が内容を確認・承認のうえ公開しています。誤りを見つけた場合はお問い合わせフォームからご連絡ください。
