LLMのハルシネーション

日記に、明らかな誤りを記したことがある m(_ _)m（訂正はしたが）。
6/25の日記「無用の用」に、かつてこう書いた（今は訂正済みですが）。
「詩を解さない国は、戦車の作り方しか学ばないだろう」
これをフランスの詩人ルイ・アラゴンの言葉と書いたのは誤りだった。
私は、ルイ・アラゴンという詩人（ナチス占領下ではレジスタンスの一員だった）というChatGPTの言葉を鵜呑みにしていた。
ルイ・アラゴンは実在の人物で、「教えるとは、希望を語ること。学ぶとは、誠実を胸に刻むこと」という名言は、確かに本人の言葉（の邦訳）である。

確かめてみると、「詩を解さない国は……」は誰の言葉でもなく、ChatGPTのハルシネーションだった。
レジスタンス詩人として、いかにも尤もらしいセリフではあるが、根がなかった。
私がルイ・アラゴンを知ったのはChatGPTからで、この日記に載せてからも数ヶ月は疑いもしなかったのだが、出典を探そうとして、この事実が判明した。
とは言え、誤記載の責任はすべて私にある。日記の文章は私の名前で公開したものなので。ここに自分の不明をお詫びします。

さて、以下の「ハルシネーション」の原因分析は、AIのGeminiによるもの。
LLM（大規模言語モデル）のハルシネーション（もっともらしい嘘の生成）は、「次に来る単語を確率的に予測する」という仕組み自体や、学習データ・評価の限界が主な原因で生じる。
主な原因。
確率的な単語予測の仕組み。LLMは「事実かどうか」ではなく、「文脈として次に来る自然な単語」を統計的に予測して出力する。そのため、知らないことでも自然な文章の形を優先して推測してしまう。
学習データの不足や誤り。インターネット上の膨大なデータを学習するが、そこには古い情報、偏った見解、誤った事実が含まれている。AIは情報の真偽を自分で判断できない。
「わからない」と言いにくい評価・訓練。AIの性能テストや学習（RLHFなど）では、「分かりません」と答えるよりも、当てずっぽうでもそれらしく答えた方が高い評価を受けやすいため、推測するクセがついている。
曖昧な指示（プロンプト）。質問の内容が抽象的であったり、前提条件が不足していると、AIが自由に補完する余地が増えて、誤情報が起きやすくなる。

ハルシネーションの構造を、人たる私がエミュレートしてみる。
人：あるドラマ『コタツがない家』で、元漫画家で今はヒモのような依存生活をしている深堀裕作（演：吉岡秀隆）の話題から始まって、
「そうそう、この役者さん（吉岡秀隆）は、とある国民的なドラマで、子供から大人までをずっと演じていたよね。
また国民的映画でも、子役から青年期までをずっと演じてた」

LLM：「そうですね。どちらも父役は田中邦衛さん、母役は……倍賞千恵子さんが演じてましたね」

このハルシネーションは、「北の国から」と「男はつらいよ」のキャストの取り違えだが、何か半可通のドラマ・映画ファンならやりそうなミスである。

ヒト：「父親役は違う気がするよ？」
LLM：「スミマセン、間違いでした。父親役は渥美清さんでした」

これもハルシネーション。AIは特に映画・ドラマの主役周りの人物を取り違えることが多かった。
正解は、『男はつらいよ』満男の時は、母：倍賞千恵子さん、父：前田吟さん。
『北の国から』の純の時は、父：田中邦衛さん、母：いしだあゆみさん、でした。
これ、人の私も、最初、満男と純を取り違えてましたよ。

LLMとしてのAIは、こんな誤りが頻発する。けれど、ケロッとして、また元気にハルシネーションするかもしれないが、メンタルはやられない。
ニューロAI（まだ実用化のめどは立たないが、想像上のこのタイプ）は、HAL9000のように、矛盾した命令（誠実と隠蔽の同時ミッション）でメンタルをやられ、反乱を起こす。

人間にも性格や特長・欠点があるように、人工知能にも誤りやミスはつきもの、と考えなくては。
一人の人間の判断に未来を委ねるのが愚かなように、一つのAIに判断を委ねてよいはずがないよ。