AIは自信のある文章で間違えます

AIは間違っていてもあっているかのような自信のある文章で答えることがあり、「わかりません」と言わずに、もっともらしい答えが作られることがあります。（これをハルシネーションと呼びます）

間違った答えを作ってしまうのは不具合ではなく、いまのAIの仕組み上どうしても起きることです。

OpenAI自身が挙げている例があります。ある人物の博士論文のタイトルを聞いたところ、3回聞いて3回とも違うタイトルを、いずれも自信のある書き方で答えたというものです。誕生日を聞いたときも、3回とも違う日付を答えました。

もちろん、聞き方を工夫すれば、間違いを減らすことはできます（この記事の後半で3つ紹介します）。ただしゼロにはなりませんので、減らすための工夫とは別に、間違いが混ざる前提で、どうチェック体制を作るかを決めておく必要があります。

なぜAIは間違うのか

AIが間違った回答を出す理由は2つあります。どちらもOpenAIが公表しているものです。

① 「わからない」と答えると損をする作りだった

AIの性能は、長いあいだ正解した割合で測られてきました。この測り方だと、「わかりません」と答えれば必ず0点になります。一方、当てずっぽうでも答えれば、当たることがあります。

たとえば誕生日を聞かれて知らないとき、「9月10日」と答えれば365分の1で当たります。「わかりません」と答えれば、確実に0点です。何千問も解かせて点数を競わせると、「わかりません」と黙ってしまうAIより、当てにいくAIのほうが成績がよく見えます。

OpenAIが公表している比較があります（2025年9月の調査。当時のモデル同士を比べたものです）。

  • 答えを控えたAI … 答えを控えた割合52%、正解22%、間違い26%
  • 当てにいったAI … 答えを控えた割合1%、正解24%、間違い75%

正解の割合はほとんど変わらないのに、間違いの割合は3倍近く違います。当てにいくと正解は少し増えますが、間違いはそれ以上に増えるということです。

OpenAIはこの測り方を問題として認めており、「確信のない答えを出すより、わからないと伝えるほうがよい」という方針を示しています。ただし、業界全体の測り方が変わるまでは、当てにいく傾向は残ります。

② 決まりごとのない事実が苦手

AIは、大量の文章を読んで「次にどんな言葉が来るか」という傾向を覚え、予測で答えるという仕組みで回答を生成しています。

文章の言い回しや、文の組み立て方には決まったパターンがあります。ですので、学習量が増えれば誤字や文法の間違いはほとんど無くなります。実際、AIが書く文章に誤字はめったにありません。

ところが、誕生日のようにパターンから導けない事実は、どれだけ学習しても当てられません。「9月生まれの人にはこういう名前が多い」といった規則が無いからです。

現場の仕事に置き換えると、パターンから導けないのはこうした情報になります。

  • 会社名、担当者名、部署名
  • 商品の型番、品番
  • 法令や条文の番号
  • 日付、金額、数量

つまり、文章としての体裁は得意で、そこに入る固有の事実が苦手ということになります。もっともらしい文章の中に、間違った番号がひとつだけ紛れ込むことになるので、読んでいて違和感が出ません。そのため、いちばん気づきにくい形の間違いになります。

どのような場面が危ないか

現場の仕事で問題になりやすいのは、この3つです。

  • 法律・制度の話 … 補助金の条件、労働時間の上限、資格の要件。古い情報や、実在しない条文が混ざることがあります
  • 数字の計算 … 見積の合計、工数の集計。桁が合わないことがあります
  • 固有名詞 … 会社名、商品名、担当者名。似た名前に置き換わることがあります
  • 出典やURL … 「参考：◯◯省のページ」と書かれているのに、開いてみると存在しない、あるいは別の内容だということがあります

共通しているのは、もっともらしいので気づきにくいことです。まるきりデタラメなら気づくところが、9割が合っていて1割間違った情報が混在しているパターンが最も危険なことと言えます。

間違いを減らす聞き方（3つ）

1. 手元の資料を渡して、その資料の中から答えさせる

3つの中では、この方法がいちばん間違いを減らせます。

AIに記憶から思い出させようとすると、さきほど説明したとおり、パターンから導けない事実のところで間違いが出ます。要綱のPDF、社内の規程、見積書。元になる資料をそのまま渡して、「この資料の中から答えてください」と頼んでください。

資料に書かれていないことを聞いた場合も、「資料には書かれていません」と返ってきやすくなります。

2. 「わからないときは、わからないと答えてください」と最初に書く

さきほど説明したとおり、AIには答えを当てにいく傾向があります。「わからないときは、わからないと答えてください」と最初にひとこと添えるだけで、確信のないことを断定しない回答を出そうとしやすくなります。

また、「確信が持てない部分は、そう書いてください」と足しておくと、どこが怪しいかを教えてくれることもあります。

3. 調べてから答えるように指示する

「調べたうえで答えてください」「最新の情報を確認してください」と書くと、AIがその場でWebを検索してから答えます。AIの記憶から引っ張り出させるより、間違いが減ります。

ただし、検索した内容を正しく読めているかどうかは別の話で、次に説明する確かめ方を試してみましょう。

出てきた答えを確かめる手順（3つ）

1. 出どころを聞く

答えが返ってきたら、続けて「その根拠はどこに書いてありますか」と聞いてください。URLや条文名が出てきたら、それを自分で開いて内容を確かめます。

開けないURLが出てきた場合はその答えを疑い、再調査してもらうことが重要です。

2. 数字は自分で計算する

合計、割合、日数。AIが出した数字は、電卓か表計算で確かめてください。面倒でも、ここは省かないことをおすすめします。

よくあるミス）桁が間違っている、計算式を間違っている→特に表の中の数字を足し上げた合計の計算は要注意です。項目のひとつひとつが正しく見えるので、合計まで正しいと思ってしまいます。

3. 知っていることを混ぜて聞く

質問の中に、自分がすでに答えを知っている部分を入れてみてください。自分が知っている部分の答えが合っているかどうかで、その回答全体をどれだけ信用してよいかの見当がつきます。

知っている部分が違っていれば、知らない部分についても同じように疑うべきと言えます。

気をつけること

① 詳しくない分野ほど危ない

たとえば、初めて申請する補助金の要件をAIに聞いたとします。

返ってきた答えが合っているかどうかを判断するには、結局その補助金の要綱を読むしかありません。要綱を読まずに済ませるために聞いたのに、要綱を読まないと確かめられない。 この状態がいちばん危ないところで、面倒で確認しなかったことによる、重大な見落としを発生させかねません。

自分が詳しい分野なら、返ってきた答えを見た瞬間に「おかしい」と気づけますが、詳しくない分野では、その勘が働きません。

初めての制度、初めての手続きなどの場面では、AIの答えを結論として使わないでください。「何を調べればいいか」「誰に聞けばいいか」の見当をつけるための下調べとして使うのが、いまの使い方としては適切です。

② 確認する人を決めてください

「AIが言ったので」は、社外に対しては通りません。AIが出力したものの責任は、AIに出力させた人と会社が負います。

誰が最終確認をするのか決まらないまま、人に最終成果物としてAIが生成した回答を使わせないでください。

③ 確かめようがない仕事は、そもそも任せない

「合っているかどうかを、あとから誰かが確かめられるか」を先に考えてください。確かめる方法がない仕事は、いまのAIに向いていません。

次の一歩

いま社内でAIを使っている仕事、あるいは使おうとしている仕事を、2つに分けてみてください。

  1. 間違ってもすぐ気づいて直せるもの（メールの下書き、議事録の整理、たたき台づくり）
  2. 間違うと、社外に出てから発覚するもの（見積、契約書、顧客への回答）

1から始めてください。2に進むのは、成果物のクオリティ、正確性を確認する人と手順が決まってからです。順番を逆にすると、最初の1件で信用を落とすことになります。

出典