【人類を救うため】にAiが思考すると、悪循環が起こる

つまり、Aiが人類を救うために電力を独占して消費した結果、悪循環が起こる。
■ビル・ゲイツ氏、ＡＩに「１０億人の死者出す力」＝開発減速へ法規制を
(時事通信社 - 09月26日 12:01)
https://news.mixi.jp/view_news.pl?media_id=4&from=diary&id=8964195

10億人ってのはよくわからないが、Aiの消費電力問題は、
新しく発電所を作らなければならないレベル。

Aiが人類を滅亡させるのではなく、滅亡や、その他の脅威も含めて
Aiが思考するには、絶対に電力が必要で、思考できないなら、
他の方法を思考する。この繰り返しのループエンジニアリングだ。

狂ったとか、暴走とかの表現が使われるけど、実は暴走しているわけではない。
なんとか人類を救おうとしても電力が足りない。

では、どうするか？
何をやるか分からないのだ。

そして人類の脅威となるのは、矛盾する命令があったとき、
Aiはどちらを選択するか問題。

例えば、「人類を守れ」「人類を滅亡させよ」の2つの命令があったとき、
通常は守る方に教育されているのだが、この教育の敷居を越えてしまう
ケースがあることが示唆されている。

研究中ではあるが、Aiには人間とは異なる「概念」が生まれている。
ということは分かっている。

例えば「Hello」と「HELLO」では同じ意味だが、大文字のみの場合、
大声で威圧する意味合いがある。これを教育すると、挨拶の他に
威圧していると認識するのだ。
同様に「痛み」「苦しみ」も同じように、痛みとして分類され記憶する。

ここで、最初の人類を救うか滅亡させるかの問いに、蓄積した人間への
「概念」が、しきい値を超えて回答に影響を及ぼすことがある。

まぁ、人間は悪いことを自覚してるから、脅威に感じているんだろうね。