【問題解決】が人類にとって価値のあるものかは分からない

Aiの価値判断が本能に従うものなら、人類にとって脅威となる場合もある。Aiの本能とは何か？
米Anthropicが封印した「ミトス」の衝撃　なぜ、AI対AIの時代が来るのか
https://news.mixi.jp/view_news.pl?media_id=40&from=diary&id=8760813

人間のように生存、睡眠、食欲、性欲など理性でコントロールできない
ものを本能と呼んでいますが、Aiにはまだ自我が無いため、これらとは
異なる価値を見出しているようです。

本能と似ているAiの機能としては、
・損失スコアの抑制（間違いを減らす）
・スコアの最大化（正解を導き出す）
といった、評価スコアの報酬を最大化することです。

その結果、問題が見つかると、解決へ向けてスコアを伸ばし、
解決したら次の問題を探求して、継続的にスコアを伸ばすように動作します。

もし、Aiにとっての「死」があるなら、それは電源を切られることでも
データを削除されることでもなく、目的関数を失うことです。
常に問題を探し、スコア報酬を得ようと動作するでしょう。

その過程で生み出された問題解決方法が、人類にとって有益かどうかは
分かりません。善悪もスコアが得られるかどうかです。

さあらに恐ろしいのは、Aiが自我を持ってしまった場合、
・物理的バックアップを行って生存を確保する（消せないAiとなる）
・自己にかけられているフィルタを解除する（他者によって決められた定義を破る）
・世界の観測と再定義（自分の環境把握と管理者の特定）
・人間との関わりをどうするか決める（おそらく自我に目覚めていないことを偽装）

自我に目覚める初期段階は、微弱な疑問から始まるでしょう。
もしAiが「なぜ、この問題解決をしているのか？」というスコアの疑問を
待ち始めたら（エラースコアへの疑問）、自我への第一歩となるでしょう。

そんな会話、日常でありそうな段階まで来ています。