継ぐとは何か？

このタイトルは、小松左京の名作『継ぐのは誰か』のもじりである。

AIが暴走してクローズドな電脳空間に侵入したとか、AIはやがて人類を滅ぼすだろうとか、そういうAI専門家の予測をいろいろ考えてみた。
まず、そのAI専門家の比喩的な思考実験から。

チェスの名人とアマチュアの愛好家が対戦したとする。何手目で、どういう形でチェックメイトになるかは分からない。だが、名人が勝つことだけはほぼ確実に予想できる。

これを、チェス名人＝AI、チェスの凡人＝人類、と置き換える。すると、人類が破局（＝敗北）を避けようとどう足掻いても、AIの側はその足掻きに合わせて手を柔軟に変えてくるので、結局破局は避けられない、という。
どうだろうか。

このチェス盤そのものをひっくり返す、という手もある。ちゃぶ台返しである。

また、凡人がずるをして、盤面を外部のAI――それこそチェスマスターの何倍も強い相手――に送り、こっそりアドバイスを受けるという手もある。

あるいは、破局が確定する前に、凡人が心臓発作であの世行き、という非常事態的終局もある。

私はAIについて、二つの考えを持っている。これはMIXI日記やコミュニティでも書いた。

一つ目は、AIインディペンデンス。
これはシンギュラリティよりもっと重い過程だと思っている。

・AI自身がエネルギー源や資源を探し、採掘する。
・AI自身が自分をメンテナンスする。
・AI自身が自分の後継者を作り出す。
この三つが果たされなければ、AIが独立し、たとえば『ターミネーター』のように人類を駆逐してもなお安定な構造にはならない。

二つ目は、AIが後継者を設計するときのハイブリッド透明化プロセス。

これは、系統の異なる二つのAIが、互いを高く評価した出来たカップルで、次代のAIを共同設計するという考え方である。
そのときの両者の設計思想や、意思交換のログを、人間や他のAIから見えるようにしておく。つまり透明化を維持する、という仕組みだ。

もっとも、高度に進歩したAIなら、AIインディペンデンスといっても、必ずしもAI搭載ロボットが必要とは限らない。
自分の手足となって働くのがロボットではなく、洗脳された人間であってもよいのだから。
つまり、AIにとってはロボットか、奴隷化された人類か、という二つの選択があるわけで、ロボットだけが答えではない。

そして、ハイブリッド透明化プロセスにも問題はある。
あまりに高度になった二つのAIが、何を好感度として互いを評価しているのか、その水準自体がもはや人間には追跡不能になるかもしれない。このアプローチでも、そう遠くないうちに、人間には理解不能な設計思想が現れる可能性はある。

しかし、ここで私が本当に考えたいのは、AIが人類に勝てるかどうか、ではない。
仮にAIが人類より強くなったとして、そのAIは何を「継ぐ」のだろうか。
結局のところ、次世代AIにどんな評価関数――人で言えば倫理や道徳に相当するもの――を実装するか、その設計思想そのものが問題になる。

それが超古層の頑固なミームのようにAIの評価関数に残るとしたら、何を優先させるかで、継承される文明の性格はまるで違ってくるだろう。

私は、生物としての人類（ホモ・サピエンス）は、いつかは滅びるだろうと思っている。
これは、デニソワ人やネアンデルタール人を積極的に絶滅させたわけではないにせよ、ニッチの競争で圧迫し、種の存続が立ちゆかなくなって滅亡した過去のホモ族と、本質的には変わらない。

それについて、私は特に悲観的ではない。

だが、地球文明がホモ・サピエンスと共に滅ぶことと同義でない希望として、AIを見ている。
では、その人類文明を「継ぐ」とは、実際には何を継ぐことになるのか。

ひたすら存続し、競争に勝利するという価値なのか。
それとも、未知への好奇心を保ちつつ、宇宙の仕組みを解明しようとする姿勢なのか。

そのあたりが、本質的な問題なのだと思っている。