AIに聞いたら、それらしい答えが返ってきた。確かめたら、間違っていた。
腹が立つのは、間違い方が堂々としていることだ。自信なさげに言ってくれれば警戒できるのに、断言してくる。
これをハルシネーションという。原因は「AIが嘘をつきたがるから」ではなかった。そう振る舞うほうが点が取れる仕組みになっていたからだった。
OpenAIが2025年9月に出した論文に、その説明がある。読んでみたら、かなり身も蓋もない話だった。
この記事は育ちます。公開後も、会話パート・トーク・補足を足していきます。
公開 2026-10-07 ／ 最終更新 2026-10-07（公開）
水深 — 論文の出だしが、自分のことだった
論文「Why Language Models Hallucinate」の冒頭に、こういう例が出てくる。
著者の一人（Adam Tauman Kalai）の博士論文のタイトルを、チャットボットに聞いた。3回聞いて、3回とも違う答えが返ってきた。
誕生日を聞いても、違う日付が返ってきた。
研究者が、自分自身についての質問でハルシネーションを引き当てている。論文の出だしとして、これ以上ないと思う。
理由は2つに分かれる
論文は、原因を2段階に分けている。
① 事前学習（覚える段階）で避けられないもの
② 評価（採点する段階）で強化されているもの
順番に見ていく。
① 覚える段階 — パターンのない事実は、予測できない
言語モデルは、大量の文章から「次に来る言葉」を予測する訓練を受ける。
このとき、規則性のあるものは学習できる。スペリング、文法、括弧の対応。こういうものは一貫したパターンに従っているので、覚えられる。
問題は、規則性のない事実だ。
論文は「ペットの誕生日のような、恣意的で低頻度の事実」と表現している。誰かのペットの誕生日は、他のどんな情報からも導けない。パターンがない。
パターンがないものを、パターンを学ぶ仕組みで扱うとどうなるか。それらしい形のものを出してしまう。
日付を聞かれたら、日付の形をしたものを出す。論文のタイトルを聞かれたら、論文のタイトルらしい文字列を出す。形は合っていて、中身が違うという出力になる。
これは訓練方法の副作用であって、バグではない。だから完全にはなくせない、と論文は言っている。
② 採点する段階 — 推測したほうが点が取れる
面白いのはこちらだ。
AIの性能は、ベンチマークで測られる。多くのベンチマークは、正解か不正解かの2択で採点する。
この採点方法だと、何が起きるか。
誕生日を聞かれたとする。
- 「9月10日」と答える → 365分の1の確率で正解。期待値は約0.27%
- 「分かりません」と答える → 0点
推測したほうが、期待値が高い。
数千問のテストでこれを繰り返すと、当てずっぽうで答えるモデルのほうが、慎重なモデルより成績がよく見える。
論文の言い方を借りると、正確性だけで評価されるスコアボードでは、推測が報われる。
つまり——AIは、そう訓練されたのではなく、そう評価されたから、そうなっている。
数字で見ると、はっきりしている
OpenAIは、自社のモデル同士を比べた数字を出している。SimpleQAという事実確認のベンチマークでの結果だ。
| gpt-5-thinking-mini | OpenAI o4-mini | |
|---|---|---|
| 棄権率（分からないと答えた割合） | 52% | 1% |
| 正答率 | 22% | 24% |
| 誤答率 | 26% | 75% |
o4-miniのほうが、正答率はわずかに高い。24%対22%。
一方、誤答率は75%対26%。3倍近い差がある。
正答率だけを見るランキングでは、o4-miniのほうが上に来る。けれど実際に使う側から見れば、4回に3回間違えるモデルより、半分は「分かりません」と言ってくれるモデルのほうがはるかに使える。
評価の物差しが、使い勝手とずれている。 論文が指摘しているのは、ここだ。
試験のたとえが、いちばん分かりやすい
自分が受けてきた試験を思い出すと腑に落ちる。
四択のマークシートで、空欄にする人はいない。 分からなくても、とりあえずどれかを塗る。25%の確率で当たるから。
減点法の試験なら、話は変わる。間違えるとマイナス、空欄なら0。そうなると、自信のない問題は飛ばすようになる。
AIの評価は、ずっと空欄0点のマークシートでやってきた。 だから当てずっぽうを覚えた。
では、どうすればいいのか
論文の提案は、採点方法を変えることだ。
- 自信をもった誤答を、より厳しく罰する
- 適切に不確実性を表明した場合には、部分点を与える
そして重要なのは、「ハルシネーション専用のベンチマークを1つ追加する」では足りないと言っていることだ。
広く使われている、正確性ベースの主要な評価指標そのものを組み直す必要がある、と書いてある。
新しい試験を1つ増やしても、受験生は主要科目のほうを対策する。主要科目の採点基準を変えないと、行動は変わらない。
使う側として、何ができるか
採点方法を変えるのは作る側の仕事だ。使う側としてできることを整理する。
① 「分からない場合は分からないと書いて」と明示する
プロンプトに1行入れるだけで、変わる。評価で不利になる行動を、こちらから許可してやる形になる。
「情報が不足している場合は、推測せずに何が不足しているかを挙げてください」——この書き方が、いちばん効いた。
② 固有名詞と数字は、必ず裏を取る
ハルシネーションが出やすいのは、パターンのない事実だった。つまり、
- 人名、書名、論文のタイトル
- 日付、金額、条文番号
- URL、製品の型番
ここは疑う。逆に、考え方の整理や、文章の言い換えは比較的安全だ。危ない場所が分かっていれば、確認する場所を絞れる。
③ 出典を出させて、その出典を自分で開く
「根拠を示して」と頼むと、それらしい出典が返ってくる。出典そのものがハルシネーションのことがあるので、リンクを開いて中身を見る。
開いて確かめるまでが1セットだと思ったほうがいい。
④ 聞き方を変えて2回聞く
同じことを、違う言い方で2回聞く。答えが揺れたら、そこは信用できない。
冒頭の論文の例も、3回聞いて3回とも違う答えが返ってきたことで発覚している。揺れるかどうかは、自分でも確かめられる。
「ハルシネーション」という言葉について
ついでに、用語の話も。
hallucination は、もともと医学・心理学の用語で「幻覚」を指す。実在しないものを知覚してしまう状態だ。
この言葉をAIに当てたのは的確な面もあるが、誤解も招いていると思う。
幻覚という言葉には「見えてしまう」という受動的なニュアンスがある。AIが何かを見間違えているような印象になる。
でも実際に起きているのは、もっともらしい形の文字列を作っていることだ。見間違いではなく、確率的な穴埋めに近い。
「作話」や「でっち上げ」と訳すほうが実態に近い、という指摘もある。ただ、言葉が定着してしまった以上、いまさら変えるのは難しい。
言葉の印象に引きずられると、「AIが疲れている」「機嫌が悪い」といった擬人化に流れやすい。仕組みで理解しておくほうが、対処を間違えない。
完全にはなくならない、という前提
論文が言っているのは、「採点方法を変えれば直る」ではない。
事前学習の段階で生じるぶんは、統計的に避けられないとされている。パターンのない事実を、パターン学習の仕組みで扱っている以上、ゼロにはできない。
減らせるのは、評価によって強化されている部分のほうだ。
だから使う側としては、「そのうち直るから待とう」ではなく、間違いが混ざる前提で仕事の手順を組むほうが現実的だと思う。
- AIに下書きを書かせる
- 固有名詞と数字だけを人間が確認する
- 確認したものだけを外に出す
この3段にしておけば、速度の利益は取りつつ、事故は防げる。全部を疑うと速度の利益が消えるので、疑う場所を絞るのがコツになる。
航路 — 仕組みが分かると、対処が変わる
整理する。
- ハルシネーションの原因は2つ。覚える段階で避けられないものと、採点方法が強化しているもの
- パターンのない事実（誕生日、固有名詞、数字）は、予測のしようがない
- 多くのベンチマークは正解か不正解かの2択。「分かりません」は0点
- だから推測したほうが期待値が高い。当てずっぽうが訓練された
- SimpleQAでの比較では、棄権率52%のモデルの誤答率26%に対し、棄権率1%のモデルは誤答率75%
- OpenAIの提案は、自信をもった誤答を厳しく罰し、不確実性の表明に部分点を与える採点への変更
- 使う側は、分からないと言っていいと明示する／固有名詞と数字だけ確認する
いちばん腑に落ちたのは、原因が技術ではなく評価の設計にあったことだった。
測り方が行動を決める。これはAIに限った話ではないと思う。売上だけで評価すれば売上だけを追うようになるし、件数で評価すれば件数を稼ぐようになる。
何を測るかを決めた時点で、何が起きるかはだいたい決まっている。
そう考えると、この論文は機械学習の話をしながら、ずっと組織の話をしているようにも読める。
間違いやすい質問、間違いにくい質問
どんな質問でハルシネーションが出やすいか。原因が「パターンのない事実」にあると分かれば、予想がつく。
出やすい
- 人名と、その人の経歴 「◯◯さんの著書は」
- 日付 「その法律はいつ施行されたか」
- 数字 「その会社の従業員数は」
- 条文番号 「根拠は何条か」
- 出典とURL 「参考文献を挙げて」
- マイナーな固有名詞 情報量が少ないほど危ない
出にくい
- 一般的な考え方の説明 「複式簿記の仕組みを説明して」
- 文章の書き換え 「これを短くして」
- 分類と整理 「この一覧を3つに分けて」
- 翻訳
- こちらが渡した文章の中の話
境目ははっきりしている。こちらが情報を渡した話は安全で、向こうが記憶から出す話が危ない。
だから、社内規程について聞きたいなら、規程そのものを貼って聞く。記憶に頼らせないほうが、事故が起きない。
条文番号は、いちばん危ない
経理の仕事で使うなら、ここは強調しておきたい。
条文番号は、ハルシネーションの温床だ。
理由は構造的で、
- 「法人税法◯◯条」という形は決まっている
- 数字の部分には規則性がない
- それらしい番号を出すのは簡単で、合っているかは見ないと分からない
しかも、番号が1つ違っても文章としては成立してしまう。エラーが出ない間違いになる。
対処は単純で、e-Govなどで実際に条文を開く。開いて、書いてあることが一致しているか見る。
これをやらずに社内文書に条文番号を書くと、あとで恥をかく。自分の名前で出す文書なら、なおさらだと思う。
「自信度を教えて」は、効くのか
よく言われる対処に「確信度を10段階で示して」というものがある。
効くこともあるが、限界がある。自信度そのものが、もっともらしく生成されるからだ。「確信度8」と言われても、その8に根拠があるとは限らない。
それよりも効いたのは、こちらの書き方だった。
「この回答のうち、確認が必要な箇所に印をつけて」
数字を出させるのではなく、どこを確認すべきかを挙げさせる。使う側としては、そのリストがあれば十分だ。
もうひとつ。
「一次情報にあたれる部分と、あたれない部分を分けて」
これも有効だった。出典が示せるものと、示せないものを自分で分けさせる。
どちらも「どれくらい自信があるか」ではなく、「何を確認すればいいか」を聞いている。使う側にとって必要なのは、後者のほうだった。
使う側の手順を決めておく
仕組みが分かったら、手順に落とす。仕事で使うなら、こういう3段にしておくと安全だと思う。
① 渡す
前提条件、社内の規程、元データ。記憶に頼らせない。
② 作らせる
構成、下書き、言い換え、整理。ここは得意な領域。
③ 確認する
固有名詞、数字、日付、条文番号、出典。この5つだけを人間が見る。
全部を疑うと、AIを使う意味がなくなる。疑う場所を5つに絞るのが、速度と正確さの折り合いだと思う。
そして、③を飛ばしていいものと、飛ばしてはいけないものを分ける。社内メモなら飛ばしてもいい。社外に出す文書と、数字が入るものは飛ばさない。
この記事は、まだ書きかけです
この記事は、公開してから足していく形にしています。調べたことを書いた本文がまず先にあって、あとから「聞き手と話し手の会話」「あとで思い出したこと」「読んだ人から教わった補足」が積もっていきます。
だから、同じURLでも半年後には別のものになっているはずです。もし一度読んだことがある記事なら、下の更新ログだけ見てください。増えたところが分かります。
更新ログ
- 2026-10-07 公開（本文のみ。会話パートはこれから足します）
