AIの誤回答を減らす方法

誤回答は、文章が上手なことと、事実が正しいことが別だという問題です。減らし方は、答えてよい材料を制限することです。

出方

存在しないプラン名、古い料金、ページにない手順を、断定の文で返すことがあります。利用者は、サイトの公式回答として受け取ります。

先に決めるルール

根拠のページがあるときだけ答える。数値は根拠の文言から外さない。該当がなければ、ないと言う。この三つを先に決めます。

材料を片付ける

矛盾するページを一つに決め、終了した情報を対象から外し、表の中の条件を本文へ移します。

確認のしかた

実際の問い合わせ文を数十件、回答と根拠URLつきで見直します。根拠が別の製品を指しているものは失敗です。

誤る理由

モデルの内部ではなく、サイト側と運用側の次の状態から見ます。

  • 根拠のページに、その答えがない
  • ページ同士で、金額や期限が矛盾している
  • 終了したページが対象に残っている
  • 別の製品の段落を拾っている
  • 答えてよい範囲が広すぎる
  • 分からないときに、推測してよいルールになっている
  • 回答に出典がない
  • 該当なしを、人へ戻さず埋めている

抑える順

文章のうまさを上げる前に、この順で範囲を狭めます。

  • 答える範囲を制限する
  • 根拠のページを一つに決める
  • 回答に出典を付ける
  • 見つからなければ答えない
  • 人へ戻す
  • ページを直してから、再び対象に入れる

根拠のない回答が出る余地を確認する

無料でサイトを診断する