ハルシネーションとは｜AIが「ない情報」を作る理由

まいが来店した時、いつもより落ち込んでいた。給料日前のトーンではなく、仕事で何か失敗したな、という感じだ。

「あ、いつものお願いします」

「今日はどうした」

「ツール内のAI分析機能を使ったんですよ。顧客の購買パターン自動判定とかで。すごい便利だなって思ったんで、お客さんに『こういう層は〇〇の行動が多いです』って説明したんですけど」

「ああ」

「後で確認したら、その層のデータ自体、実際には2件しかないのに、AIが『パターンが明らかです』みたいに書いてあって。お客さんにちゃんと説明できてない…」

マスターは頷いた。よくある話だ。

「AIが何かを見つけた、って感じで説明するじゃないですか。でも学習データにない情報を、無理やり整形して『これはこういう傾向です』って言ってる。そういうのをハルシネーションって呼ぶ」

「え、でも、統計的にちゃんと計算してるんじゃ…」

「いや。AIは計算じゃなくて、『確率的に次に来そうな言葉を生成している』だけだ。だから、データが少ないと、ないデータを補完しちゃう。あるように見える状態を作る」

まいが少し身を乗り出した。

「じゃあ、ツール側の分析機能も、同じことが起きてるってことですか？」

「起きやすいな。特に、サンプルサイズが小さい場合」

「あ…」

「例えば、新商材の購買層分析。データ20件で『40代女性が主流です』とAIが判定した。でも実は、その20件の中身を見ると、40代が4人、女性が6人。被ってるのは2人。AIが『確率的に相性が良さそう』と判断して、『主流』って言ってしまった」

「でも、それって、ツール側で防げるんじゃ…」

「防ぐ側も人間だ。『AI判定』って名前がつくと、何か科学的なものに見える。でも実際には、『確率的に尤もらしい組み合わせを出してる』だけ」

まいが静かになった。その静寂は、彼女が自分の営業トークを思い出している合図だ。

「お客さんに『AI分析で顧客像が見えました』って、売り込んじゃった…」

「その時点で間違ってるわけじゃない。ただ、『見えた』のが何件のデータから来ているか、誰も言わない。AIだから正確みたいに見える」

「怖いですね。ツール側も教えてくれないし」

「教えると、売りにくくなるからな」

まいが深呼吸した。

「でも、具体的に何を確認すればいいんですか？」

「AI判定が出た時、必ず『このパターンは何件のデータから来てるのか』を聞く。導入先に説明する時も。もし『100件の購買データから抽出した』なら信用度がある。『5件です』なら、それはたまたまだ」

「あ、その確認、営業トークに入ってないんですよ」

「だから後で『数字が合わない』って言われる」

マスターがグラスを磨きながら、さらりと続けた。

「ハルシネーションの怖さは、『見つけた感』が強いことだ。データが少なくても、AI生成だと『何か発見した』みたいに見える。顧客も営業も、その確信度の根拠を確認しない」

「だから、結局、ツール入れた後も活用されないんですね。AI判定が外れて、『このツール使えない』って」

「そこだ」

まいが立ち上がりながら、ぼそっと言った。

「次のお客さんには、『AI判定が出ても、データ確認はセットです』って説明しよう」

「そっちの方が、長く付き合える」

よくある質問