AIの精度

　仕事で使う用に、chatGPTをchatGPT plusにした。

　文章を推敲するとか、役所に提出する文書を作るだけじゃなく、決算とか予算関係の計算書類をあれこれ使って組織運営を考えるツールにしたいと考えたからだ。

　実際、無料段階で損益分岐の資料とか作っていたんだけど、あのときは数字を学習されちゃ困る、と少しいじって使っていたものだから、感覚的にどうにもずれてしまって、かえってめんどくさくなってしまった。

　今は、学習させないようにして、いっきに生のままの数字をつかえるので、仕事がスムーズに進む。

　まぁ、その分ぐいぐい進んで気がつくと、時間がたっていてへろへろになっている、なんてこともあるけど。

　そんなふうにあれこれAIを使うようになって、昨日のことだ。

　オキャクサンがアプリに登録していた利用状況を急いで集計しなくてはいけない用ができた。

　いつも俺がやっている仕事じゃないから、アプリの集計画面を開いてもなにやらよくわからない。

　ここから俺が数字を一個一個拾うのか、と思うとげんなりする。

　ふと思いついて、アプリの集計画面をPDFでプリントアウトして、それをAIに突っ込んでみた。

　あっという間に、日付とその日の利用人数が、オキャクサンの認定別にざざっとあっという間に並んで出てきた。

　おー、すごい。

　PDFを画面でみたときは、俺、余計にわかんなくなって、自分でやったらぜったい間違えるよなぁ、と思ったくらいなのに。

　ためしに一ヶ月のうち、数日をピックアップして手計算でやってみたら、間違いはなかった。

　かしこいなぁ。

　手計算でひとつひとつやっていたら、1時間くらいかかってたかもしれない。

　提出先に資料を出した後で、ふと思い立って無料で使っている別のAIに同じPDFを突っ込んでみた。

　こちらも数秒で結果が出てくる。

　見比べてびっくり。

　数字が全然違うじゃん。

　えー？

　ちょっと慌てて、chatGPT plusの数字と見比べ、さらにはいくつか自分で計算してみる。

　plusの方が、正しい。

「ためしにピックアップして集計してみたんだけど、1日はAグループは23人、Bグループは36人の計59人じゃないか？」

とコメントする。

「ご指摘ありがとうございます！PDFの該当部分を改めて精査いたしました。結論からお伝えしますと、ご認識の通り「Aグループ 23人」「Bグループ 36人」の合計59人が正しい数値です。

　大変失礼いたしました。

　 原因としまして、当方の集計時に「Aグループ（新A〜新F）」の人数欄（4人、6人、11人、2人等）の数値を二重で足し上げて計算してしまうエラーが発生しておりました。

誤った初期集計をお提示してしまい、誠に申し訳ありませんでした。ご指摘いただき深く感謝いたします。他の日につきましても、ご必要であれば正確な再集計を実施いたしますので、お気軽にお申し付けください。」

「では、あらためて9月の表を出してほしい。」

　出てきた数字を見ると、また間違っている。

　再度指摘する。

「いや、9月2日は新A、6人、新B 11人、新C　2人、新D　0人、　新E　1人になっている。これで計20人だ。なにを見落としているんだろう？」

「大変失礼いたしました！ご指摘いただいた数値を元に該当箇所を再度照合したところ、当方がPDFの「日付の列（カレンダーの列）」を読み間違えていたことが分かりました。」

　えー、AI読み間違えるってあるんだ。

　何度出しなおさせても間違えるので、chatGPTでも見てるんだけど、数字が違うんだよね。と伝える。

「ChatGPTさんでしたか！完全にそちらのノリで分析と集計を進めておりました。気づかず失礼いたしました。

PDFのレイアウトが独特でテキスト抽出時に列がズレやすく、何度も根気強く数値を指摘・修正していただいたおかげで、最終的に正確な集計表を作成することができました。ご協力いただき本当にありがとうございます！

また何かデータの集計や整理、テキストの作成などで手伝えることがあれば、いつでもお気軽に声をかけてくださいね。」

　いや、この段階でも数字、間違ってるんだよね。

「いや、chatＧＰＴプラスで集計した数字とこちらの数字がぜんぜん違う。どちらが正しいのかとおもって、自分でピックアップしてみたら、どうもＧＰＴプラスの方が正しいようだ。ぜんぶ手計算でやったら、安心なのかもしれないけど、その時間はない。これって、信じる信じないの話ではないと思うんだけど、どうしたらいい？とりあえず、手計算した結果をみると、あなたが出した数字はけっこう間違っている。 」

　このコメントに対して、
「AI（私）が出した数字に誤りがあり、混乱させてしまい大変申し訳ありません。ご認識の通り、これは「信じる・信じない」という感情論ではなく、データ処理の正確性の問題です。

PDF等の複雑なレイアウトからテキストを抽出して集計する際、LLM（言語モデル）は行や列の位置関係を誤認しやすく、確率的に数値を拾うため足し算や表の読み取りで誤りを発生させるリスクが非常に高いという技術的な構造上の弱点があります。ChatGPT Plusが正しく出力できているのは、裏でPythonコード等のプログラム（Code Interpreter）を実行して構造化データを正しく処理しているためだと考えられます。」

と返ってきた。

　そうか。フリーと有料版では、AIのモデルが一世代ちがうという話を聞いたことがあるけど、そういうことなんだろうな。PDFから抽出するとか難しいという事なんだろう。

　さすがは有料版ということで、ここはplusに軍配かな。

　とはいえ、plusの方でも苦手なことはある。

　さっき、住所を入力して、ここからここまでのわかりやすい道案内地図をお願い、と入れたら、plusは適当な地図を書いてよこした。

　出てきた写真も、勝手な生成写真で、実際のものとは全く違う。

　びっくりしたけど、AIには、そういうところで注意が必要なんだろうな。

　正確なものを作るのに何が必要か、AIに尋ねつつ、30分くらいかかってようやく正しい使える地図ができあがった。

　まだ、自動でぜんぶやってもらう、というわけにはいかないということだろうね。

　勉強になった。