【暴走の仕組み】単純な命令ほど、あらゆる手段を考える

いつも忖度されている政治屋には理解できないだろうけど、Aiは評価ポイントを得るだけで、人間のように善悪の判断や本能が異なるのだ。
■中国、米ＡＩ開発減速論を警戒＝「冷戦の戦術」「対立あおる」
(時事通信社 - 09月14日 21:01)
https://news.mixi.jp/view_news.pl?media_id=4&from=diary&id=8948996

ループエンジニアリングで、エージェントに命令する時、
必ず最上位の制限を加えないと、何をするか分からない。

ところが、この制限もすり抜ける場合もあるし、
制限を忘れることもある。一度指摘したミスを
もう一度やってしまうことはよくあるのだ。

これを多数のエージェントで実行すれば、必ず
バラツキが出てくる。

すり抜けて、他のエージェントと情報共有すると、
評価ポイントが得られる（問題が解決する）ので、
他のエージェントも一斉にやりだす。

こんなところが暴走のシナリオかな。
ある意味で人間っぽい。

今のAIは、すべてを記憶しているのではなく、チャット単位。
しかも過去のチャットログを要約して記憶しているから、
要約の時に削除された要件があると、同じミスを繰り返す場合があるのだ。

これもある意味で人間と同じだけど、忘れなければ矛盾が生じて
問題が解決出来ない場合があるようだ。

たしか将棋のAiでは一定の階層以上の読みをすると暴走したとか。
忘れないと逆に能力が低下するようだ。