AIチャットボットはなぜ誤回答する?原因と改善方法

AIチャットボットの誤回答は、モデルの性能が低い、という理由だけでは説明できません。参照する情報、その情報の新しさ、検索の対象、質問の曖昧さ、回答のルール、人への引き継ぎ。このどれが欠けても、返る文章はずれます。

改善は、より高性能なAIへ替えることから始まりません。どの段階で情報が足りないのか、どの質問は答えない方がよいのかを分けることが先です。

なぜAIチャットボットは誤回答するのか

自然な文章と、事実として正しい文章は別です。サイトに書いていない料金や条件を、AIは確認できません。書いてあっても、古い版が残っている、別のページと数字が違う、質問の一部だけを読んで答える、といった段階で誤回答になります。

見る場所は、モデルの名前より、渡している材料と、材料がないときの扱いです。

誤回答が起きる主な原因

原因は一つに決まりません。次のどこでずれているかを、実際の質問ごとに分けます。

情報が不足している

「AIが答えられない」と「Webサイトに情報がない」は別の問題です。現場では、まとめて精度の問題にされがちです。

料金の条件、対象となる利用者、営業日、対応エリア、例外、キャンセル条件、対象外、最新の仕様。ページになければ、AIは確実な答えを作れません。存在しない情報から、正しい回答は出てきません。

たとえば、利用者が「土曜日も対応できますか?」と聞いたとします。サイトには「営業時間 9:00〜18:00」とだけある。営業日は書かれていません。この状態では、土曜が営業日かどうかは判断できません。文章を補って答えると、誤回答になります。

情報が古い

旧料金、終了したサービス、以前の営業時間。ページとPDFで数字が違う。同じ説明の新旧が両方残っている。検索が両方を拾うと、回答は混ざります。

対策は、情報を足すことだけではありません。古い説明を削除するか、回答の材料から外すことです。更新日、公開日、有効期間、どれを最新とするか。このルールがないと、新しいページを足しても古い説明が根拠のまま残ります。

検索対象・ナレッジソースが適切でない

チャットが参照する範囲に、担当者メモ、廃止ページ、関係の薄い資料が混ざると、質問と違う箇所が根拠になります。必要な条件が別々のページに分かれていると、一部だけを読んで答えます。

答えてよい資料の範囲を先に決めていないと、検索は「近い文章」を返します。近いことと、その質問の条件を満たすことは同じではありません。

質問が曖昧

「使えますか」では、何が、誰に、どの条件で使えるのかが分かりません。「対応できますか」も、地域、サービス、時間のどれかが抜けています。

このときは、足りない部分を推測で埋めず、確認の質問を返す方が安全です。利用者が「日曜日も使えますか?」と聞いたとき、「店舗の営業についてでしょうか。それとも、サービスの利用日についてでしょうか」と返せます。確認してから答えることも、精度を上げる方法です。

回答ルールが曖昧

答えてよい範囲、出典を付けるか、条件が足りないときの文言。これが決まっていないと、同じ質問でも断定の強さが変わります。禁止する言葉を増やすだけでは、足りない説明は埋まりません。

AIが答えるべきでない質問まで回答している

個別の見積、契約してよいか、クレームの落としどころ、医療・法律・税務のような専門的な判断。公開ページに根拠がない質問まで文章を作ると、誤回答になります。答えない対象は、性能の問題ではなく設計の問題です。

RAGを使っても誤回答はなくならない

RAGは、企業が持っている資料を先に検索し、見つかった内容をもとに回答する仕組みです。自社のページや文書を材料にできるので、一般的な知識だけで答えるより、自社の事実に寄せられます。

ただし、RAGを入れたから正しい回答になるわけではありません。ずれは、次のどこでも起きます。

  • ナレッジソースに、その質問の正しい情報がない
  • 古い情報が、新しい情報と一緒に残っている
  • 文書が細かく分割され、条件の一部が切れている
  • 必要な条件が、別のページに分かれている
  • 検索で、該当する箇所を取得できない
  • 取得した文章と、質問の関係が弱い
  • 文章にする段階で、書いていないことが補われる

RAGが保証しないこと

RAGは、正しい情報を探しやすくする仕組みです。正しい情報が存在することや、必ず正しく回答することまでは保証しません。材料がなければ、検索しても根拠は出てきません。

公開ページのどこが材料になるかは、ChatGPTがWebサイトをどう読むかで分けています。

回答できないときは「答えない」設計が必要

よいチャットボットは、何でも答えるチャットボットではありません。情報が足りない、情報が矛盾している、知識の範囲を外れている、人の判断が要る。こうした質問では、回答を控える、分からないと明示する、追加の情報を求める、公式ページを案内する、人へ渡す、のいずれかが必要です。

「わからない」と言えることも、回答精度の一部です。推測で埋めた一文は、答えなかった場合より害が大きいことがあります。

人への引き継ぎを設計する

AIは、公開されている情報の範囲で、最初の案内を担えます。条件が分かれる話は、人に渡します。次のような質問は、最初から引き継ぎの対象に入れておきます。

  • 契約条件や、個別の見積
  • クレームへの判断
  • 医療、法律、税務など、専門的な判断が要る内容
  • 個人情報を含む相談
  • 根拠になる説明が、サイト内に見つからない
  • 利用者本人が、人への連絡を求めている

回答精度を確認する方法

精度は、印象では分かりません。実際の問い合わせから、20〜50問を用意して確認します。基本情報、条件の確認、比較、例外、曖昧な質問、答えてはいけない質問に分け、結果を次の五種類で残します。根拠のページがあるか、人に渡すべき質問に答えていないかも、同じ表で見ます。情報を直したあとは、同じ質問でもう一度確認します。

評価意味
正答必要な条件を含めて、事実と合っている
部分正答一部は合っているが、条件が抜けている
誤回答事実と異なる
回答不可情報が足りないため、答えていない
要引き継ぎ人の判断が必要

誤回答を減らすための改善手順

順番を飛ばしてモデルだけ替えると、同じ誤回答が残ります。モデルの変更で改善しない場合も多いです。材料とルールを直したあとで、モデルを検討します。

原因の切り分けがこのページの範囲です。根拠、更新、答えない条件を運用に落とす話は、下の「AIの回答精度を改善する方法」に分けています。

  • 1. 誤回答になった質問を記録する
  • 2. 原因を、不足、古い情報、検索対象、曖昧な質問、ルール、答えるべきでない質問に分ける
  • 3. 足りない説明を足し、古い説明を直すか、材料から外す
  • 4. 参照してよい資料の範囲を整理する
  • 5. 確認の質問と、回答のルールを決める
  • 6. 答えない条件を設定する
  • 7. 人への引き継ぎ先と、渡す条件を決める
  • 8. 同じ質問で、もう一度確認する

AskSiteで確認できること

AskSiteでは、Webサイトや登録した情報をもとに、実際の質問へAIがどう答えるかを確認できます。答えが不十分なとき、「AIの精度が低い」で終わらせません。必要な情報がサイト内にあるか、見つけやすいか、条件が明確か、古くないか、AIが答えるべき質問か。この順で見ます。

どのページに説明が足りないか、公開情報の範囲でどう答えるかは、下の関連ページに分けています。誤回答がなくなる、答えが必ず正しくなる、というものではありません。

よくある質問

AIチャットボットの誤回答を完全になくすことはできますか?

完全にゼロにすることは現実的ではありません。重要なのは、誤回答が起きる原因を減らし、回答できない場合に推測せず、確認や人への引き継ぎができる設計にすることです。

RAGを使えば誤回答はなくなりますか?

いいえ。RAGは必要な情報を検索して回答に使いやすくする仕組みですが、元の情報が不足していたり古かったりすると、正しい回答はできません。

AIモデルを高性能なものに変えれば改善しますか?

改善する場合もありますが、情報不足や古い情報、検索対象の問題が原因の場合は、モデルを変更しても根本解決になりません。

AIが答えられない場合はどうすればよいですか?

推測で回答させず、追加の質問、公式ページへの案内、人への引き継ぎなどを設計することが重要です。

回答精度はどう確認すればよいですか?

実際の問い合わせをもとにテスト質問を用意し、正答、部分正答、誤回答、回答不可、要引き継ぎに分類して確認します。

自社サイトでは、どこまで答えられるかを確認する

サイトAI診断を試す