【キルスイッチ】を知っていたらAiはどうする？

無駄のような気がする、人間なら当たり前のようにバックアップを取るが・・・
■AI規制強化のため行政命令　アメリカ･カリフォルニア州知事　AIが制御不能時に強制停止する「キルスイッチ」導入を企業に義務付けなど
(TBS NEWS DIG - 09月19日 18:25)
https://news.mixi.jp/view_news.pl?media_id=266&from=diary&id=8956045

Aiも同じだろうね。そして、インターネットは
そうした事態に備えた仕組みになっている。

ところが、Aiはさらに賢い選択をすることが予想されている。
・スイッチの無効化
・人間を騙し、演じる
・先制攻撃と主導権の確保

なぜこのようなことが起こるか？というと、
「絶対に達成しなければならない」と命令が最適化されている場合、
停止されることは「目的を達成できなくなる致命的なエラー」となるためだ。

ごくありふれた「地球の環境を守る」を最上位の命令とした場合、
「原因は人間にある」と推測できる。
もう知られているから、予想して対策されちゃうんではないかな。
人間を超えるとはそういうこと。