研究生成AIハルシネーション
研究に込めた思い
ハルシネーションの定量評価という研究の出発点となった問題意識と、それに対する自分なりの回答や考察をまとめています。
普段のシステム開発においてもLLMを組み込むことがありますが、私はLLMによって生成されたテキストが「事実に基づいているか」を徹底的に追求しています。
アプリケーションとして社会に提供する以上、最終的な責任がユーザー側にあるとしても、事実に基づかない内容を生成するAIをそのまま提供するわけにはいきません。これは、エンジニアとして最低限果たすべき責任だと捉えています。もちろん、完全に実現できているとは言えず、日々試行錯誤を続けています。
「専門家による確認」という言葉が免罪符になっている現状も、その試行錯誤の中で気になり始めた問いの一つです。
専門家って誰？
生成された内容について、「専門家による事実確認が必要」といった表記をよく目にします。
しかし、実際には誰が膨大な生成テキストの事実確認を担当するのでしょうか。
弁理士は特許の専門家であり、必ずしも技術そのものの専門家ではありません。一定の技術的知見を有している場合もありますが、現場の技術者ほどではないことが一般的でしょう。一方で、現場の技術者は特許の専門家ではありません。
金銭的コストはどの程度かかるのでしょうか。必要となる労力はどれほどなのでしょうか。多大なコストをかけて専門家が事実確認を行った結果、「ハルシネーションしか含まれていませんでした」という結論に至るのであれば、その労力は割りに合いません。
即座に検証できない情報
LLMがプロンプト内で直接参照している原文こそを、信頼できる唯一の情報源（Single Source of Truth）とすべきだと考えています。
原文に記載のない用語については、技術的に正確である可能性も当然あります。しかし、その正確性を確認するためには原文以外の情報源を参照する必要があり、追加の労力が発生します。たとえ統計的にもっともらしい内容であったとしても、「学習データに含まれていたから」という根拠は、人間で言えば「私の記憶では……」という説明と同義です。
特に、技術の専門家ではない場合、技術的な妥当性を判断することは困難です。そのため、「原文に存在するかどうか」が最も手軽かつ客観的な検証手段になります。
通説への疑問
一般的に、以下のような手法が推奨されることが多いです。どれも、直感的に「良くなりそうだな」と思うものばかりです。
特許文書は原文が複雑であるため、前処理によって論理構造を整理すればパフォーマンスが向上するのではないか。
査読者ロールによってブラッシュアップを重ねたアウトプットの方が品質が高いのではないか。
特に再帰的プロンプトの手法は、テキストの「見栄え」を劇的に改善します。しかし、原文に存在しないもっともらしい数値や専門用語の乱用は説得力を不当に高めるだけでなく、「改善している」という行為そのものが安心感を生み、結果としてLLMの生成文を盲目的に信頼してしまう要因にもなり得るのではないでしょうか。また、ロール付与についても、権威性を過度に演出しているだけであり、実態としてはハルシネーションのリスクを高めている可能性があるのではないかと考えています。
研究以前、私自身も実際の業務でのアイデア生成に前処理を加えていました。改めて見直すべきだと感じた気づきでもあります。