ハルシネーション

ハルシネーションは、LLMが事実と異なる情報、存在しないURL、架空の引用、誤った数値などを自信があるように出力してしまう現象。

ビジネス利用では、誤った回答を顧客に送る、存在しない社内規程を引用する、古い料金情報を提示するなどのリスクにつながる。RAG、引用元表示、承認フロー、回答できない場合の明示、ログ監査などが対策になる。

AI搭載SaaSを選ぶときは、生成結果の品質だけでなく、誤回答時の検知・修正・人間レビューの仕組みを確認したい。

SaaS選定では、AI機能の有無だけでなく、どの業務データを参照できるか、根拠を表示できるか、権限やログを管理できるかまで見ると判断しやすい。生成AIは便利さとリスクが同時に増えるため、現場で使う場合は人間の確認フロー、誤回答時の修正方法、学習データへの利用有無も確認したい。

よくある落とし穴は、デモでの賢さだけを見て導入を決めてしまうこと。実務では、社内データの鮮度、既存ツールとの接続、失敗したときの復旧手順、管理者が制御できる範囲のほうが満足度を左右する。