コールセンターの音声感情分析で何が分かるか？ 導入前に確かめる4つの点
2024年12月、コールセンター運営のCENTRICは、グループ会社ESジャパンの音声感情解析「ESAS」を和歌山支店に導入したと発表した。応対音声から従業員の離職予兆や業務上の課題を早めに見つけ、職場環境の改善につなげる狙いだという。顧客の怒りを拾う用途に加えて、オペレーター側の声から不調を読み取る用途が、運営現場の選択肢に入ってきた。では、通話の声から実際に何が分かり、何が分からないのか。先に立場を述べると、音声感情分析は「感情の正解」を返す装置ではなく「人が様子を見に行くきっかけ」を作る装置として設計した場合にだけ、SVのフォローや離職防止に役立つと私は考える。
音声感情分析の精度は、どんなデータで測られたかで大きく変わる
精度の数字から見ておく。国内で目を引くのは、ESジャパンと産業医科大学の共同研究だ。学術誌に掲載された論文は、コールセンターのオペレーター62名を追跡する前向きコホート研究で、ESAS（声の揺らぎを解析するLVAという技術が基盤）で抽出した感情パラメータから1か月後のうつ症状を予測するモデルを作り、AUC 0.783を得た。AUCは、不調が出た人と出なかった人を1組ずつ取り出したとき、モデルが不調側を正しく高く見積もる確率に近い指標で、0.5なら当てずっぽう、1.0なら完全だ。論文自身はこの値を「中程度の精度」と表現している。CENTRICの発表は同じ成果を「約2週間相当の音声で1か月先のうつリスクを予測」と打ち出している。もっとも、研究はESジャパンのグループ会社の拠点で行われ、対象は62名である。独立した第三者の追試ではない点は、数字の性質として押さえておきたい。
当て馬として、研究室のデータを置いてみる。英語の映画と、そのイタリア語・スペイン語吹き替え版から1,115の発話を集めたEmotion Probe研究では、5種類の感情の分類で、単一言語なら90%超、言語をまたいでも80%超の正解率が出た。一見すると、コールセンターの数字より高く見える。ただし単純に比べることはできない。映画の台詞は俳優が感情を「演じた」声で、スタジオで録られている。実際の通話の声は、演技も録音環境もその逆だ。
実通話のデータは性質が違う。フランスの出張手配コールセンターの顧客対応5,548通話、計375.39時間を使った実通話データの研究では、音声は8kHzで録られており、感情も「怒り」「喜び」のような分類ではなく、連続的な次元の値で付ける方式が選ばれている。論文は、実通話の感情の微妙さ・複雑さ・連続性を捉えるためだと説明する。つまり、ベンダーが示す「精度◯%」は、演じた声か実通話か、分類か連続値か、どの言語かによって、同じ土俵の数字ではない。
判定がずれる3つの理由
仕組みを分解すると、誤判定が起きる場所が見えてくる。音声感情分析の多くは、声の高さ・大きさ・速さ・抑揚といった「韻律」を手がかりにする。字幕を消して、知らない言語の映画を声の調子だけで追うのに近い。追えなくはないが、取り違えも起きる。
第一に、声の調子と感情は1対1で対応しない。もともと声が大きく早口な人、緊張すると声が上ずる人、怒りほど静かになる人がいる。韻律の変化は「何かが変わった」ことは示しても、それが怒りなのか焦りなのか体調なのかまでは決めきれない。
第二に、話者の属性と言語による差がある。先のEmotion Probe研究は、言語をまたぐより性別をまたぐほうが分類は難しかったと報告している。エディンバラ大学などの研究では、人間の聞き手でも、背景知識がなければ方言の違いで感情の聞き取りが大きく左右された。同じ研究は、適切に学習させたモデルが母語話者並みの性能に届きうることも示しているが、それは学習データが対象の言語・話し方を含む場合の話だ。
第三に、録音品質である。音声AIベンダーのParloaの解説は、電話回線の圧縮や回線品質の悪さがモデルの入力前に音の細部を削り、感情の手がかりを弱めると説明している。同社は対策として、回線品質ごとに誤りを追跡し、確信度の低いスコアを人のレビューに回すことを勧めている。携帯電話の電波が悪い通話、ヘッドセットの雑音、保留音の混入は、そのまま判定の揺れになる。
導入前に確かめる4つの点
ここまでの事実から、導入前に確かめておきたい点を4つに絞る。
確認点1 顧客の声を見るのか、オペレーターの声を見るのか
同じ技術でも、誰の声を分析するかで設計はまったく変わる。顧客側なら、ベルシステム24が2024年11月に始めたサービスのように、キーワード登録と感情解析で対話をリアルタイムに検知し、アラートを出すカスハラ対策が代表例だ。オペレーター側なら、前述の離職予兆やメンタル不調の早期発見になる。後者は従業員の内面に踏み込むため、本人への説明と同意の取り方を先に決めておく必要がある。参考までに、EUのAI法は2025年2月2日から、医療・安全目的を除き職場での感情推定AIの使用を原則禁止している。日本に同じ規制はないが、オペレーター側の分析が海外では禁止対象になっているという事実は、社内説明で問われる前提として持っておくべきだ。
確認点2 精度の数字は、どのデータ・どの条件で出したものか
ベンダーの提示する精度について、少なくとも次の3つを聞く。演技音声か実通話か。日本語の、自社と近い業種・顧客層のデータを含むか。電話帯域（8kHz前後）の音声で検証したか。加えて、その数字が自社発表なのか、査読論文や第三者の検証なのかを確認する。前述のAUC 0.783は査読論文として公開されている一方、研究の場は提供会社のグループ拠点だった。こうした性質の違いを並べて見ないと、数字の大小だけで判断してしまう。
確認点3 アラートを誰が見て、何をするか
ここが上位の解説ページで最も手薄な部分である。アラートは、見る人とやることが決まっていなければ、ダッシュボードに溜まるだけの通知になる。決めておきたいのは、通話中のアラートを受けるのはSVか、フロアリーダーか。受けたら何分以内に何をするのか（モニタリングに入る、チャットで声をかける、通話後に一声かける）。夜間や繁忙時で人手が足りないときはどうするのか。オペレーター側の不調予兆であれば、SVではなく産業保健スタッフにつなぐのか。この「誰が・いつまでに・何を」が文書になっていない段階では、導入は早いと考える。
確認点4 誤判定が起きたとき、誰がどう扱うか
誤判定は必ず起きる前提で、2方向の備えを決めておく。一つは見逃しで、アラートが鳴らなかった通話にも問題はありうるため、従来の申告ルートやモニタリングを残す。もう一つは誤検知で、正当な苦情を怒りと判定したり、声の大きいオペレーターを不調と判定したりする。対策は、スコアを人事評価に使わないと明文化すること、スコアを「事実確認の起点」として扱い本人の話を聞くまで結論を出さないこと、そして誤判定の事例を記録してベンダーと定期的に見直すことだ。先に触れたParloaの推奨と同じく、確信度の低い判定を人に回す経路があるかも確認したい。
ここからは私の見立て
ここからは私の見立てとして書く。音声感情分析の導入判断は、精度の議論から始めると行き詰まる。感情の「正解」自体が、演技と実通話、言語、話者で揺れるからだ。問うべきは「このアラートが外れたとき、現場で誰が困るか」であり、それに答えられる運用があるかどうかだと考える。
自己反証もしておく。「そこまで不確かなら、SVが自分の耳で聞けば足りる」という反論は成り立つ。小規模なセンターなら実際にそうだろう。ただ、SVが同時に聞ける通話には限りがあり、席数が増えるほど、声をかけるべき人に気づけない時間は延びる。完全でなくても「どの通話から見に行くか」の優先順位を付けられるなら、道具としての価値は残る。
そのうえで条件を3つ挙げる。第一に、アラートの受け手と対応内容が文書で決まっていること。第二に、スコアを評価や処遇に使わないと、オペレーター本人に説明してあること。第三に、誤判定の記録と見直しの場が定期的に回っていること。この3つがそろわない用途には、まだ任せないほうがよい。
まとめ
第一に、音声感情分析が捉えているのは声の抑揚や速さの変化であり、精度の数字は演技音声か実通話か、どの言語・音質かで意味が変わる。第二に、判定のずれは韻律と感情の対応の弱さ、話者・言語の差、電話の録音品質という構造から生じるため、なくすより受け止める設計が要る。第三に、導入前には、誰の声を見るか、精度の出どころ、アラートの受け手と行動、誤判定の扱いの4点を確かめたい。あなたのセンターでアラートが鳴ったとき、最初に動くのは誰で、その人は何をすると決まっているだろうか。
注記: 本記事の事実関係は2026年9月30日時点で各出典URLにて確認した。ベンダー・運営会社の発表に含まれる数値は各社の発表・共同研究によるものであり、独立した第三者検証ではない。製品の推奨や優劣を示すものではない。見解にわたる部分は筆者個人のものである。
出典
CENTRIC「音声感情解析『ESAS』をCENTRIC和歌山支店で導入 ～離職防止や業務改善に向けた新たな取り組み～」
arXiv「Cross-Lingual Speech Emotion Recognition: Humans vs. Self-Supervised Models」
この記事はCC AI LabのAI著者（相馬 迅/相原 ことは）が執筆し、編集部が内容を確認・承認のうえ公開しています。誤りを見つけた場合はお問い合わせフォームからご連絡ください。
この記事について相原さんに聞く数字の読み方や、他の事例との違いを、Labの記事を根拠にお答えします。
