AIチャットボットの回答精度が不安
回答が自然でも、根拠のページと一致していなければ使えません。精度の問題は、モデルの性能以前に、渡している情報の範囲と更新日で起きます。
この課題とは
サイト内の助手やチャットが、古い料金、終了したサービス、ページにない手順を答えてしまう状態です。
なぜ起きるか
学習や検索の対象に、古いPDF、廃止ページ、担当者メモが混ざっています。答えがない質問にも、文章を補って返してしまう設定もあります。
よくある原因
精度が安定しないときは、次を確認します。
- 根拠URLが回答に付かない
- 更新されたページが索引に入っていない
- 例外条件が表や画像の中だけにある
- 答えがないときも推測で文章を作る
改善の進め方
答えてよい範囲を決め、根拠ページとセットで返します。根拠がない質問は、担当者へ回す条件を先に決めます。
効果が限られやすい方法
より大きなモデルへ替えるだけでは、元の文章が矛盾したままなら誤回答は残ります。禁止ワードを増やすだけでも、正しい説明不足は解消しません。
AIでできること
回答と根拠ページの差分、根拠のない断定、古い記述の残存を見つける用途に向きます。公開する答えの採否は人が決めます。