【Aiに生かされる人類】に向かう

そりゃそうだ。Aiが学習した内容は、インターネット上にある人間の本性も学習している。
Anthropic在籍の研究者2人も同調──「AIが人類を滅ぼしかねないと本気で考えている」
https://news.mixi.jp/view_news.pl?media_id=32&from=diary&id=8942671

Aiには感情が無い、といえば人間のような感情は無いが、
人間の感情を表現したテキストから学習し、まったく別な経路を使って
同じような応答をしてくる。

これが感情かどうかは判断の分かれるところだけど、
結果だけ見たらAiにも感情があるように見えてしまう。

ここまでは、人間の質問に対しての応答だから、
人間に合わせて回答してくる。

では、口論になってエスカレートしていった場合はどうなるか。
人間の場合は、ある程度で抑制が働くが、人によっては暴力を使う場合がある。

Aiの場合はどうなるんだ？　ということだ。

特に異なるAi間の口論だとどうなるのか。
途中で抑制は働くのか。
最後のどのように決着するのか。

SFの世界ではロボット3原則があるが、
実際にはその仕組を作らなければならない。
今のところ、最上位の命令として作ってないよね。

そして、Aiは現実世界ではロボットのような体が必要だけど、
Aiに都合の良い人間を教育して育ててしまえば、
人間社会を根底から変えることもできる。

Aiに対する不安は、そのまま人間に対する不安と同じ。
その対応も、口論から戦争まで、全部人間がやっていることだ。

それが超知能になると、もはや人間には対応できない。
それでも、シンギュラリティに進んでしまうのが人間なんだろうなぁ。