将棋ソフトの研究は軍事研究に直結しうるが、「人を殺すためだったら計算したくありません」というような擬似的な心を、改変できないような巧妙な方法で人工知能に組込んでおく研究も＜そろそろSFとばかりも言えず

機械が心を持つようになるか？


エンジニアリングとしては、機械が心を持つかどうかではなく、機械に心を持たせたいか、持たせたいとしたら、何のためにどういう（部分的な）心を持たせたいか、を考えることになる


　「機械が心を持つようになるか」という質問を受けた時には、「エンジニアリングとしては、機械が心を持つかどうかではなく、機械に心を持たせたいか、持たせたいとしたら、何のためにどういう（部分的な）心を持たせたいか、を考えることになる」とお答えしてきました。
　たとえば、将棋ソフトの研究は、（敵に勝つための策の網羅的な探索というような）軍事研究に直結しうるわけですが、「人を殺すためだったら計算したくありません」というような擬似的な心を、改変できないような巧妙な方法で人工知能に組込んでおく、などという研究がありえます。それに賛成か、反対か、これは意見のわかれるところでしょう。

　AIを作る人たちの複数の心、AIたちの複数の心（？）、およびAIを使う人たちの複数の心が、相互に作用して、ある種の複雑系を形成し、創発的に予期せぬ事態（良い事態と悪い事態の両方）を引き起こすことになるかもしれません。
　今までは、とりあえずまあまだSF的な話ですから、とごまかしてきたわけですが、そろそろSFとばかりも言えなくなってきたかもしれません。プロ棋士に勝った将棋ソフト、クイズチャンピオンになったWatson、Siriやしゃべってコンシェルなどの質問応答システムの実用化、等々を受けて、人々が抱く不安も増してきているので、AI研究者は回答をそれなりに用意しないといけません。

　技術倫理や技術哲学や科学哲学が御専門の先生方のお話を聞いたりもしているのですが、僕自身はまだ答を見つけられないでいます。
　AIの心の問題以前に、social network systemなどにおいても、コミュニティが良くないアトラクタ（たとえばナチスのような）を形成しないように、技術的な仕組みとして何か工夫しておかなくて大丈夫なのだろうか、などという問題もあるように思われます。
　いずれにしろ、簡単な問題ではなさそうです。

　　　　　　　　２０１３年４月１８日　堀　浩一　（東京大学大学院工学系研究科教授）

　この問題にも関連する「人工知能とは」という解説記事を書きましたので、そちらも御覧いただければと存じます。

　　　　　　　　２０１３年１０月３日　堀　浩一　（東京大学大学院工学系研究科教授）