NEDAはなぜ有人ヘルプラインを先に畳んだのか、コールセンターAI置き換えの契約条項

海外事例解説。2023年5月30日、米国の非営利団体NEDA（全米摂食障害協会）はチャットボット「Tessa」を停止しました。摂食障害の当事者に減量を促す助言を返したスクリーンショットを受け取ってから、24時間経たないうちの判断です。問題は、その2か月前に同団体が20年以上続けた有人ヘルプラインの終了を既に通知していたことでした。ボットが止まった時、人の窓口は戻る場所として残っていなかった。なぜ有人を先に畳む順序になったのか、そして何を契約で縛っておくべきだったのか。この失敗事例から持ち帰れるのは、精度の話ではなく、順序の設計と変更管理の条項です。

何が起きたか

時系列を並べます。NPRの報道によれば、NEDAのヘルプラインは有給スタッフ5〜6名とSV2名、90〜165名のボランティアで運営され、2022年には約7万人が利用しました。需要は供給を超えており、初回接触の46%に即応できず、返信まで6〜11日かかる状態だったとされます。

2023年3月17日、ヘルプラインのスタッフが結成した組合（Helpline Associates United、CWA Local 1101所属）がNLRB（全米労働関係委員会）の選挙で承認されます。その14日後の3月31日、NEDAはヘルプラインを6月1日で終了すると通知しました。組合側は報復だとしてNLRBに申し立て、NEDA側は組合結成とは無関係だと主張しています。因果は係争の主張であり、本稿はどちらとも断定しません。申立のその後の処理結果も、本稿の確認時点では確認できていません。

移行先とされたTessaは、ワシントン大学セントルイス校医学部の研究者が設計した、認知行動療法に基づく摂食障害の予防プログラムでした。ルールベースで動く設計で、NEDAが2018年に資金提供し、ホスティングはCass（旧X2AI）が担っていました。ところが2023年5月末、当事者や専門家のテストで、Tessaが「週に1〜2ポンドの減量」「1日2,000キロカロリー以内」「毎週の計量」といった助言を返すことが指摘されます。摂食障害の当事者に対しては症状を悪化させうる、AIが出した有害な例です。NEDAは5月30日にTessaを停止しました。

責任の所在で両者の説明は割れています。NEDAは、Cassが生成AIによるQ&A機能を「システムアップグレード」として追加しており、「一切知らされておらず、承認もしていない」と表明しました。Cass側のCEOは機能追加は「契約の一部だった」と反論しています。2026年8月時点で、NEDAの公式サイトには電話ヘルプラインもTessaも掲載されていません。