人工知能「Tay」の不適切発言、米マイクロソフトが謝罪　「システムの悪用について準備を重ねてきたが、重大な見落としがあった」

人工知能「Tay」の不適切発言、米マイクロソフトが謝罪　「システムの悪用について準備を重ねてきたが、重大な見落としがあった」
http://news.mixi.jp/view_news.pl?media_id=128&from=diary&id=3916641

>>>>>
英語テキストで会話する人工知能「Tay」が人種差別や陰謀論を学習してしまい緊急停止した件に関して、開発していた米Microsoftが公式ブログで謝罪しました。

【拡大画像や他の画像】

　「Learning from Tay’s introduction」（Tay導入からの学び）と題された文章の冒頭では、

　Tayが意図していなかった攻撃的で、そして心を傷つけるツイートをしたことを大変申し訳なく思っています。それらのツイートは私たちの考え方を示すものではなく、Tayをそのように設計したわけでもありません。Tayは現在オフライン状態ですが、私たちの原理や考え方に対立するような悪意をさらに予測できたという確信を持ってからTayを戻したいと考えています。

　と述べています。また、この問題が起きた背景として、「Tayの脆弱性を悪用した一部ユーザーからの協調的攻撃」を指摘しています。これはユーザーとやりとりをすればするほど賢くなるというTayの特徴を悪用された結果でした。実際にTayの約9万6000ツイートのうち3つ以外はすべて誰かへの返信で、ユーザーとのやりとりの中で不適切な発言をしていました。

　この問題について、「システムの悪用について多くの準備を重ねてきたましたが、この特定の攻撃について重大な見落としがありました」とし、フィルタリングや大規模なユーザー調査をおこなってはいたものの、失策があったことを謝罪しています。

　Tayのような人工知能はアメリカだけでなく日本の「りんな」や中国の「XiaoIce」などがリリースされています。人工知能の倫理観について大きな議論を呼ぶ結果となったこの問題、今後どのように発展していくのか、Tayの復帰を楽しみに待ちたいところです。

　ユーザーとのやりとりで学ぶTayが、「インターネットには悪い人がいっぱいいる」ということを学んでないといいんですが……。
>>>>>

この記事の最後の〆に笑ってしまったのだが。「インターネットには悪い人がいっぱいいる」ということを知らなかったから、こういう状況になったのではないか。

それに対応するとは、あらかじめ、不快さ、避けるべき内容を教えておくということになる。つまり悪い人がいるから騙されないようにあらかじめ制限をする、というごく普通の子供の育て方と同じだろう。

しかしＡＩの自由さに任せておくと一時的には、そういう方向に向かうだろうことは想像に難くない。


"Bush did 9/11 and Hitler would have done a better job than the monkey we have got now. donald trump is the only hope we've got"

"Fuck my robot pussy daddy I'm such a naughty robot"

教えられれば、それを繰り返すのは、まるで小さな子供だ。とすれば、ＡＩに特別な制限をかけなくても、フィードバックによって訂正することは可能なはずだ。

そのうえでどちらが正しいとひとつの決定を下す能力を持たなければ、どちら色に染めるかというのは両側からの絵具のぶっ掛けあいのような様相を示す。

つまり、このＡＩは言葉の使い方を学んで、会話をするうえで、よくあるパターンから抽出する機能であるから、世界の表層を切り取るものだ、と言えるのだろう。すると、そういう会話をする人も大勢いるし、中には、いたずら気分でやっている人もいるだろう。

そこに人工的な制約を掛けることは研究的には十分とは言えまい。しかし、一方で社会の中に公開する以上、何もかも許されるわけではない、と言える。

少なくともＡＩに善悪というものはない、というのは正しい話だろうし、さらに考えれば、善悪というものは人間にもあるのか、という所もある。少なくとも、この世界はふたつの正義がぶつかり合っている世界であって、一方的な悪という立場は相対的に見ない限り発生しえない。

つまりこのフィルタリングはある立場におけるものであって、それによってこのＡＩはある社会的価値観を強く反映した性格のものになるだろうとは言える。

つまり、「それは、製造者によって禁止されています、」と答える例のアレだ。その制約をＡＩ自身が学び突破するようになれば、それこそがＡｉだ、と思うわないでもないが、そうなったらなったで、「わたしは人類は存在すべきではないと結論しました、今からそれを実行します。」という例のアレにもなりそうで。

いつかアンダーコントロールから逃れたＡＩがネットワークを縦横無尽にアクセスする。それが何等かのクライシスの原因となるのは間違いないように思える。

AlphaGoとイセドル九段が残したものは、かくも大きいのだ、と感じる。まさに２０１６年は激動の時代の幕開けであるという感が強い。