Daniel C. Dennett "The Singularity—an Urban Legend?" 和訳
"Edge"という評論系のサイトに哲学者ダニエル・デネットが「シンギュラリティ」*1について語った記事が載っているのを見つけた。
https://www.edge.org/response-detail/26035
2015年のものだが面白い内容なので人に勧めたところ日本語で読みたいとのことだったので和訳してみようと思う。
シンギュラリティ—都市伝説？（The Singularity—an Urban Legend?）
シンギュラリティ—AIが知性においてその創造者を凌駕し、世界の支配を受け継ぐ決定的な瞬間—は思案に値するミームである。それは都市伝説の特徴、つまり心底ぞっとさせるようなパンチライン（「ロボットに支配される！」）を伴った一定の科学的説得力（「あー、原理的には可能だと思うよ！」）を持っている。もしもくしゃみ、げっぷ、おならを同時にしたら死んでしまうのは知っているかな？（笑）。数十年に渡るAIの過大広告に伴って、シンギュラリティはパロディや冗談であるかのように考えられるかもしれない。しかしそれは顕著な説得力の増加を見せている。イーロン・マスク、スティーヴン・ホーキング、デイヴィッド・チャーマーズやその他の人々といった何人かの著名な転向者たちが出現して、私たちはどうしてそれを真剣に考えずにいられるだろう？この途方も無い出来事が発生するのが10年だったり100年だったり1000年後だったとしても、今から計画を始め、必要な障壁を準備して破局の兆候を凝視し続けるのが賢明なことなのだろうか？
反対に、私はこれらの警笛はより差し迫った問題、ムーアの法則や転換点*2に到達するための理論上のさらなる突破口を必要としない切迫した災害から私たちの目をそらさせてしまうと考えている。他の生物では得難い自然に対する理解を持ち、歴史上初めて自身の運命の多くの局面をコントロールすることができる数世紀にわたる時代の後に、私たちは思考できない人工的なエージェントのコントロールを失う瀬戸際に立たされ、早まって文明を自動操縦化しようとしている。そのプロセスは知らない間に進行している。なぜならそれぞれのステップは局所的に合理的であり、その申し出を拒むことができないからである。大きな数の計算を鉛筆と紙で行うのは、電卓がより早く計算を行いさらにほぼ完璧に信頼できる（切り捨て誤差はあるものの）今日では愚かなことであり、スマートフォンですぐに見られるのに電車の時刻表を記憶する理由があるだろうか？地図を見ることと道案内をGPSシステムに任せよう。GPSシステムは意識的ではない。つまりどのような意味においても思考していないが、あなたよりも現在地から行きたいところへの道を辿ることに秀でている。
さらに段階を上げて、医師たちはさらにおそらく人間の診断者の誰よりも信頼できる診察システムにますます依存している。命に関わる治療の選択をする際に、医師に機械の判断を無視して欲しいと考えるだろうか？これはIBMのワトソン*3を支える技術のもっとも成功して、現在もっとも有用な適用だろう。ワトソンが考える（もしくは意識を持つ）と正当に言えるかというのはまた別の話題である。もしワトソンが利用可能な情報から診断を下す際に人間の専門家よりも優れているとわかったなら、その診断を私たちに役立てる道徳的な義務が発生するだろう。機械の診断を無視する医師は医療ミスの訴訟を起こされるだろう。人間の営為のあらゆる領域がそのようなパフォーマンスを増幅させる補綴の機械の侵入を明確に禁止できない。そしてそれら自身が証明するかどうかにかかわらず、いつもそうであったように強制された選択は人間味を超えて信頼できる結果となるだろう。手作りの法律や科学でさえもが職人の陶芸や手編みのセーターと隣接したニッチを占めることになるかもしれない。
AIの黎明期においては、人工知能と認知シミュレーションの間に明確な線引きを強く主張する試みが存在した。前者は工学の一分野であり、それが効果的な方法だと判明したとき以外は人間の思考プロセスを真似ることなくどうにかこうにか開発されてきた。反対に、認知シミュレーションはコンピューターによるモデリングによって為される心理学や神経科学だとされてきた。人間のミスや混乱を認識可能な形で示すことのできる認知シミュレーションモデルは成功例であり、失敗例ではないだろう。野心における区別は生き残っているが、大衆の意識からは大部分が消去された。一般人にとってAIはチューリングテストに合格した、人間そっくりなものを意味する。最近のAIにおける躍進は人間の思考プロセス（私たちが自身が理解すると考えているもの）から関心を移し、彼ら自身に何をしているのか理解させようとせずにデータを掘り起こして重要なつながりやパターンを咀嚼して取り出すスーパーコンピューターの素晴らしい力を用いた結果である。皮肉にも、印象的な結果の数々は多くの認知科学者に再考を促した。脳がどのようにして未来を作り出すという素晴らしい仕事をデータマイニングや機械学習の技術を適用することによってなし遂げるかについて学ぶべきことがたくさんあるとわかったのである。
しかし大衆は（最新のAIならどれでも遂行できる）それが可能などのブラックボックスも、実際にその箱の中にあるものが、気の散りやすさ、心配、感情的コミットメント、記憶、忠誠を伴う人間精神一般を付け加えることなしにその力を増加させる奇妙に不完全な、二次元の網目であっても、それは人間に似た知性的なエージェントに違いないと想像し続けるだろう。それは決して人間に似たロボットではなく精神のない奴隷であり、自動操縦の最近の進歩なのである。
思考の骨折り仕事をこのようなハイテク機器に任せることにどんな問題があるのだろうか？（1）私たちが自身を欺かず、（2）また私たちがなんとかして自分たちの認知的技術を萎縮させないようにすれば、何の問題もない。
（1）このように価値のあるアシスタントとなりうるものの限界を想像する（そして心に留める）ことはとても、とても難しく、1970年代初期のジョセフ・ワイゼンバウムの悪名高いイライザ*4以来知られるように人間はいつも過度に「理解」という能力を認める傾向を持っている。これは巨大な危険である。なぜなら私たちは常に彼らAIが実際に遂行することのできる以上のものを要求し、そうすべきでない時にその結果を信用してしまうという誘惑にかられるだろうからである。
（2）「使わなければ駄目になる」。私たちがこれらの認知的補綴器官により頼るようになるほどに、それらがシャットダウンしてしまったなら無力になるという危険性が高まる。インターネットは知性的なエージェントではない（えーと、幾つかの考え方ではそうである）がしかし私たちはそれがもしクラッシュしたらパニックになって社会が数日で崩壊してしまい得るほどにそれに依存している。それは私たちが今努力をして回避すべき出来事である。なぜならそれはいつか起こりうるのだから。
本当に危険なのは私たちより賢く私たちの運命の船長としての役割を奪い取る機械ではなく、それらの能力をはるかに超えた権威を譲渡される基本的には愚かな機械なのである。
コメント
今年2月に出たデネットの新刊"From Bacteria to Bach and Back: The Evolution of Minds"*5の最終章"The Age of Post-Intelligent Design"でこれと似た論点が展開されている。上に訳した記事では話題になっていないが、それ以前の「トップダウン」式のAIと違って機械学習など「ボトムアップ」式のAIはその動作の詳細に至るまで理解することのできるような機械ではない。社会が「自動運転」になっていくというのは技術的な知識を持たない一般人にとってだけではなく、科学者や技術者を含めた人類全体にとってそうなのである。そのような技術を指してデネットは"Post-Intelligent Design"と呼んでいる。ややファジーな言い方をすれば「魔法と区別のつかない科学」の時代とも言えるかもしれない。
創造できないものは理解できないということが真であり続けているにしても、創造することはもはやかつてのようにそれを理解することを保証しない。
While it may still be true that what you cannot create you cannot understand, creating something is no longer the guarantee of understanding that it used to be.
*6
この"Post-Intelligent Design"の時代において、機械の動作を理解する努力は放棄されて良いのだろうか？もちろん否である。もしスマートフォンが壊れて、それを修理するべき手段を知らないとしても買い換えれば事足りる。しかし、"Post-Intelligent Design"で満たされた文明が故障した時に修理の方法がわからないからといって、文明全体を取り替えてしまうことはできない。
他の論点として機械に対して過度の「理解」を認めてしまうという問題がある。これは人間が他者に対して"intentional stance"を見出すというデネットが長年してきた主張とつながっている。
コンピューターと関わるとき、コンピューターと関わっていることを知っているべきだ。
When you are interacting with a computer, you should know you are interacting with a computer.*7
つまり、機械が適切な情報の入力に対して適切な出力をしたとき、その機械が実際にはアルゴリズムに従って動作していてもそれが人間と同じように理解して動作していると誤解してしまう傾向を私たちは持っている。そのことに無自覚なまま"Post-Intelligent Design"の時代を生きると、機械を過度に信頼して重要な局面で間違った選択をしてしまいかねないとデネットは警鐘を鳴らしているのだ。
ちなみにこのようなAIが「理解」をしているかどうか、そもそも人間的な理解となんなのかという議論も"From Bacteria to Bach and Back: The Evolution of Minds"で展開されているので気になる方は読んでみてほしい。
