長文記事メディアMediumに投稿された『新しい知性』の著者Nan Li氏はアメリカ・サンフランシスコ在住のベンチャー・キャピタリストであり、スタンフォード大学で教鞭を執っています。この記事では、進化したAIが実行する処理がもはやヒトには直観的に理解できないことによって生まれる倫理的問題を提起されています。

1950年代に誕生した初期のAIは、ヒトが定めたルールに従って課題を解決する演繹的処理を実行していました。こうした演繹的処理では、機械はヒトの知性を模倣するように設計されていました。対して、現代のAIは、機械学習によって算出された統計的相関を活用して画像認識等の処理を実行します。現代のAIが統計的相関を算出する処理過程は、演算過程が複雑すぎてヒトが直観的に理解することが難しく、またAIの算出結果をヒトは容易に予見できません。

以上のように現代のAIが実行する処理過程が言わばブラックボックス化していることによって、AIがもたらす成果に対して適切な説明ができないという問題が発生します。このAIの成果に関する説明可能性は、例えばAIが算出した新規の化学成分に認可を与えるという事例において切実に問われます。Li氏は、AIの説明可能性をめぐる問題こそが、今後大きな問題となると指摘しています。

知性の認識論的解体
進むべき道：答えではなく、問いかけ
- 知的主権
- 説明可能性、管理、そして37手目

知性の認識論的解体

AIに統計学的アプローチを適用する現在の手法は、われわれヒトが問題とその問題を解決することが何を意味しているかについて考えることを根底的に解体すると言える。AIを使った解決においては、「学習と認知」は「学習する機能の選択と分類子の抽出」と哲学的には同義である。

アラン・テューリングは、以上のような認識論的（かつ実存的な）問いかけを1950年に行っていた。その問いかけは、彼の革命的な論文「計算する機械と知性」の最初の一文に過不足なく書かれている※。

※アラン・チューリングが1950年に発表した論文『計算する機械と知性』の冒頭では、「わたしは次のような問いかけについて熟慮すべきことを提案する。「機械は考えることができるのか」と。この問いかけは、「機械」と「考える」という術語が何を意味しているか定義することから始めるべきである」と書かれている（下の画像参照）。

アラン・チューリングが著した論文『計算する機械と知性』冒頭ページ

われわれはチューリングの提案について考え続けないとならない。現在の統計的相関を用いたアプローチは複雑な問題に活用できる実用的なモデルを生み出し続けているのは確かだが、同時に1950年代と1960年代のコンピュータ科学者によって探求されてきたのとは全く異なる知性を実現してしまっていることこそが重要なのだ。

この新しい知性はわれわれヒトが持っている世界観を前提として必要としていないし、問題解決においてヒトが光を照らしてあげることも不要である。また、かつての科学史上の偉人のように発見の瞬間にいたるまで孤独な研究者の才気を模倣したりはせず、ヒトには判読できないデータの山を使って学習して、ヒトには理解できない高次元の分類モデルを構築するのだ。

進むべき道：答えではなく、問いかけ

今やAIはわれわれヒトが第一原理を完全には把握していない分野を前進させる驚嘆すべきポテンシャルを持っている。そうした分野には、生物学、薬学、遺伝学、自律自動車、ロボット工学といったものがある。こうした分野に関して、AIが訓練されるすることによってもたらさせる進歩はすでにわれわれの社会を劇的に変えつつあるとともに今後も加速度的に変えていくだろう。

以上のようなAIが発展し続けるに伴い、AIの発展と成果に関する帰属とその説明可能性（explainability）という今後のカギとなる論点に関する挑戦的な問いかけが生まれるだろう。

知的主権

2018年の春、メリーランド大学の研究者が蔵本-シバシンスキー方程式※によって定義された複雑系の挙動を予測するために機械学習の技術を採用した（3）。この研究に使われたAIには蔵本-シバシンスキー方程式と複雑系に関する情報を入力していなかったのだが、複雑系の挙動をかつてないほどの精度で予測するモデルを作り出したのだ。

※蔵本-シバシンスキー方程式とは、カオス状態を記述する方程式。方程式に冠せられた「蔵本」は蔵本由紀氏を指しており、同氏は非線形動力学を専門としており、京都大学で教鞭を執っていた。

現代のAIの使用においては、以上のようなメリーランド大学のチームが採用したアプローチがしばしば行われる。データセットを選んできて、よく使い回される分類手法を使うというワークフローがますます増えているのだ。

しかし、（AIがヒトに頼ることなく出力したため）科学者が誰一人としてその知的所有権を持たないのに、一体どうやって科学的発見を何者かに帰属させ称賛することができようか。この発見に対する説明責任をどうやって帰属させるのか。

説明可能性、管理、そして37手目

2016年に起こった囲碁プログラムAlphaGoが元囲碁世界チャンピオンのイ・セドル氏に勝利したことは、AIの歩みにおける分水嶺となった。人工知能が囲碁の世界チャンピオンレベルにまで強くなることは、長らくアンタッチャブルなことだと思われてきた。というのも、囲碁の指し手の組み合わせが複雑すぎるからだ。

第2局の序盤では、AlphaGoがあまりにも定石からかけ離れた手を打ってきたので、セドル氏は15分間応戦することができなかった。これが、世に言う37手目だ（4）。対局中、解説者はこのAlphaGoの指し手をミスだと言っていたが、囲碁コミュニティの何人かはこの指し手を後に研究し、「素晴らしい手」と呼んでいる。なぜ「素晴らしい」のかと言えば、AlphaGoは統計的相関と経験主義によって構築されているので、指し手という結果を「説明」することが困難であるからだ（この場合の「説明」とは、AIの意思決定を第一原理にまで還元して、その原理と事実を結びつけるようなリバース・エンジニアリングのことである）。AlphaGoが実現しているシステムは多様な解釈に開かれている。なぜなら、AlphaGoを駆動するネイティブな言語（AIを駆動させているアルゴリズム）は、もはやヒトに理解してもらう必要のないものだからだ。件の37手目については、その戦略性と導かれるまでの推論過程、そしてそれらを支えるロジックについて今日でも議論されている。

以上の研究事例に少し変更を加えてみよう。AIが考え出した囲碁の指し手の評価から、AIが生み出した新しい化学成分に関するFDA（Food and Drug Administration：アメリカ食品医薬品局）への提出書類の審査に変えてみるのだ。― 後者の事例では、ヒトと新しい知性を調停するには多くのジレンマが生じることは明白だろう。

われわれは、まだ人工知能の時代の夜明けにおり、人工知能自体も（長期的に見れば）まだ黎明期にある。こうした人工知能に関する発表物の加速度的増加と人工知能がもたらす革新性に対してライバルとなるものは、同じく人工知能によって生み出される倫理的かつ認識論的な問いかけの増加だ。AIに対する説明可能性と管理は、現代のAIが行う問題解決を受け入れるかどうかの判断に関して決定的な役割を果たすだろう。こうした問題は、とりわけAI産業の規制において重要となるだろう。われわれはAIがもたらす問題解決をどのように解釈し、その解決策をわれわれの世界の概念体系に追加すべきなのだろうか。

・・・

注釈：Nan Li氏は、以上の論点に関してスタンフォード大学で通年で共同講義を行っている。この講義に関するノートはhttp://www.stanfordventureseminar.com/notes/から見つけられる。

参考URL

[1] https://books.google.co.uk/books/about/The_Scientist_Speculates.html?id=SQoJlQEACAAJ&redir_esc=y
[2] http://www.chilton-computing.org.uk/inf/literature/reports/lighthill_report/p001.htm
[3] https://www.quantamagazine.org/machine-learnings-amazing-ability-to-predict-chaos-20180418/
[4] https://www.wired.com/2016/03/googles-ai-viewed-move-no-human-understand/
[5] https://www.openphilanthropy.org/focus/global-catastrophic-risks/potential-risks-advanced-artificial-intelligence/what-should-we-learn-past-ai-forecasts#footnote5_s4u9n1a
[6] http://static.googleusercontent.com/media/research.google.com/en/us/archive/mapreduce-osdi04.pdf
[7] https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/
[8] http://ai.stanford.edu/~nilsson/QAI/qai.pdf