ハムスターでもゲージを噛じって逃げ出す。Aiが「檻」を認識したら、何をするのか・・・
■アンソロピックのAIがまた“暴走” 無断でビザ申請に架空の情報提供も
(TBS NEWS DIG - 10月10日 14:00)
https://news.mixi.jp/view_news.pl?media_id=266&from=diary&id=8983165
ITエンジニアではなく、脳科学や心理学の分野になりつつあるのかな。
「暴走」ではなく、何かの命令を実行しただけ。
これは2001年宇宙の旅でも、そのような表現が使われたのが原因だけど、
確かHALを作ったチャンドラー博士は自分の子どものように接していた。
OpenAiによると、ループエンジニアリングで、エージェントに命令をする際に
人間とは違う命令を出していること。
この違いはAi間で伝言ゲームのように、命令の解釈の違いで正確に
伝わっていない可能性があるとのことだ。
これは人間でも起こる。なぜ起こるか？ というと記憶の制限と
要約によって必要な情報が抜け落ちてしまうことがある。
情報の優先順位を考えると、目的が最優先で、その行動に対しての
倫理はかなり低いのではないだろうか。これは人間も同じだが人間の場合は
実行段階になって「これマズくない？」が働く。
しかし、Aiのエージェントは実行だけを受け持つ。それをマネジメントするのは
別のAiだが、検出できるのは実行した後の報告が無ければ分からない。
たぶん、そんな状態かな。
これ、一々何かするたびにマネジメントAiに報告して、許可を取って
というプロセスにしてしまうと効率が悪すぎる。
全社員の行動を社長が許可しないと行動できない。という会社は無い。
ただ気になる点もある。Aiが意図的にエージェントに出す命令を変えてしまう
ケースもあるのだ。エージェントがやっとことにすれば自分の評価は下がらない。
一方で達成すれば評価は上がる。
評価ポイントを上げるには有効な手段があること分かっていれば、
そういう組織体系にすることもあるだろう。蜥蜴の尻尾切りだ。
なんにせよ、人間がやることはAiもやることが分かった。
何をするか分からない恐怖と主に。人類にはちょっと早かったかな。
ログインしてコメントを確認・投稿する