AIの誤回答を減らす方法
誤回答は、文章が上手なことと、事実が正しいことが別だという問題です。減らし方は、答えてよい材料を制限することです。
出方
存在しないプラン名、古い料金、ページにない手順を、断定の文で返すことがあります。利用者は、サイトの公式回答として受け取ります。
先に決めるルール
根拠のページがあるときだけ答える。数値は根拠の文言から外さない。該当がなければ、ないと言う。この三つを先に決めます。
材料を片付ける
矛盾するページを一つに決め、終了した情報を対象から外し、表の中の条件を本文へ移します。
確認のしかた
実際の問い合わせ文を数十件、回答と根拠URLつきで見直します。根拠が別の製品を指しているものは失敗です。
誤る理由
モデルの内部ではなく、サイト側と運用側の次の状態から見ます。
- 根拠のページに、その答えがない
- ページ同士で、金額や期限が矛盾している
- 終了したページが対象に残っている
- 別の製品の段落を拾っている
- 答えてよい範囲が広すぎる
- 分からないときに、推測してよいルールになっている
- 回答に出典がない
- 該当なしを、人へ戻さず埋めている
抑える順
文章のうまさを上げる前に、この順で範囲を狭めます。
- 答える範囲を制限する
- 根拠のページを一つに決める
- 回答に出典を付ける
- 見つからなければ答えない
- 人へ戻す
- ページを直してから、再び対象に入れる
