最終更新日：
AIシステムに関して、物事を「ヒトのように理解」していないので「真の」知能は実現されていない、と批判されることがあります。こうした批判には、「真の」知能と「偽の」のそれという二値的に判定できる概念としての「理解」が前提とされています。同氏は理解を二値的にとらえるのではなく、概念をつなぐリンクを担う機能と解することを提唱します。理解を機能としてとらえた場合、「水」を理解するとは「零度になると凍る」「濡れている」といった概念がリンクした意味のネットワークを知っていることを意味します。
AI開発によって「知能」を実現することを可能とする理論的背景は現状では複数存在し論争しておりますが、同氏のように理解を機能としてとらえた場合、AI開発とは具体的に検証可能なテストの実施を通じて個別的な問題を解決する「理解力」を開発することと同義となります。
同氏が提唱する「テスト駆動型のAI開発」を支持した場合の利点は、「真の理解とは何か」という容易に解決できない哲学的問題を回避してAI開発を進められることにあります。また、「真の理解」を実現していないからAI開発は不毛である、という主張も斥けることもできます。
以上のような同氏の考察は、AI開発の推進に思想的根拠を与えていると言えます。同時に浅薄な「シンギュラリティ」の解釈にもとづくAI批判に対する反論ともなります。「ヒトを超えるAI」という場合、ヒトの「知性」や「理解力」として何が想定されているのでしょうか。機能としてのヒトの知性は網羅的に定義しがたいものである以上、それを超えるAIという存在を論じても不毛なのではないでしょうか。
なお、以下の記事本文はThomas G. Dietterich氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。また、記事本文の見出しは読みやすくするために便宜的に設けたもので、原文には存在しません。
概念をつなぐリンクとして機能するAIの「理解」
人工知能の最近の進歩に対する批判者は、これらの進歩がAIシステムに顕著な改善をもたらしたにもかかわらず、依然として「本当の」、「真の」、または「本物の」理解を示していないと文句を言う。「本当」「真」「本物」などの言葉の使用は、「理解」が二値的であることを含意している。つまり、システムは「本物の」理解を示すか、そうでないかのいずれかなのだ。「理解」を二値的に考えることに伴う難しさとは、ヒトの理解力が決して完全でも完璧ではないことにある。この記事では、「理解する」とは能力の連続的なスペクトラムとして存在することを論じていく。例えば、「水」の概念を考えてみよう。ほとんどのヒトは水の多くの特性を理解している。水の特性とは濡れていて、飲むことができ、植物が必要とし、冷やすと氷になる等といったことだ。しかし残念なことに、水が導電体であるためシャワー室ではヘアドライヤーを使用してはいけない、ということを多くのヒトが理解していない。それにもかかわらず、水が伝導体であることを理解していないヒトは「水」に関して「本当の」「真の」、または「本物の」理解が不足しているとは言わない。そう言う代わりに、そんなヒトの理解は不完全であると言う。
AIシステムの評価に対しても、水の理解に関する事例と同じ態度を採用すべきなのだ。既存のAIシステムは、特定の種類の理解を示している。例えば、わたしがSiriに「キャロルに電話して」と言ってSiriが正しい番号をダイヤルする時、Siriが私の要求を理解しなかったと説得するのは難しいだろう。またわたしがGoogle検索に「IBMのDeep Blueシステムを敗北させたのは誰か」と尋ねると、「カスパロフ」という回答が大きな文字の入ったインフォボックスに表示される時も、Google検索が私の質問を正しく理解したことになる。もちろん、以上のような「理解」に関する理解には限界がある。（Deep Blueに関する質問の後に）わたしがGoogle検索に「いつ？」と質問を続けたら、「いつ」の辞書的な定義を回答する。－「いつ」というわたしの質問を対話の一部として解釈していないのだ（※訳註1）。
「理解」をめぐる議論はアリストテレスにまで遡り、おそらくサールの中国語の部屋の議論（サール、1980）で最も明確に述べられた（※訳註2）。「理解」に関しては、スタンフォード哲学百科事典（Cole、2014）のColeの優れた記事を読むことを勧める。わたしの立場は機能主義の一形態だ。理解は機能的に特徴づけることができ、測定された機能の生成における脳またはAIシステムが示す因果的役割に従って、それらの様々な内部構造に対する寄与を評価するのだ（※訳註3）。
ソフトウェアエンジニアリングの観点に立つと、機能主義はシステムの機能を測定するための一連のテストを設計することを奨励している。システム（またはヒト）に「–20°まで水を冷やすとどうなるか？」または「シャワー室でヘアドライヤーを使用するとどうなるか？」と尋ねて、応答を測定するのだ。応答が適切であるならば、システムは理解していると言える。反対に応答が間違っているならば、システムが理解していない事例を発見したことになる。
システムが何かを理解するためには、異なる概念、状態、およびアクション間のリンクを作成する必要がある。今日の言語翻訳システムでは英語の「water」がスペイン語の「agua」に正しくリンクされているが、「水」と「電気ショック」の間にはリンクがない。
以上の思考実験におけるなかのヒトを「ソフトウェア」に置き換えると、原理的には現代のAIと同じとなる。つまり、AIであってもソースコードを実行しているだけでヒトのようには「理解」していないのだ。
機能主義は、心をカラダが実現する機能ととらえる。例えば、痛みはカラダの痛覚神経が脳に信号を発した結果、生命の危険を警告する機能ととらえる。機能主義は、認知科学の成果と整合するので心の哲学における主流派となっている。
最近のAI批評におけるふたつのトレンド
最新のAIの進歩に対する批評の多くは、2つのソースに起源がある。ひとつめは、（研究者、彼らが働く組織、さらには政府や資金提供機関によって作られた）AIを取り巻く誇大広告であるのだが、これらは極端なレベルにまで達している。こうした誇大広告は「スーパーインテリジェンス」または「ロボットの黙示録」が差し迫っているという恐怖さえ生み出してしまった（※訳註4）。この恐怖はナンセンスであると反駁するには、批評が不可欠である。
ふたつめは、人工知能研究における将来の研究の方向性と政府の資金の配分に関する進行中の議論の一部となっている批評である。一方にはディープラーニングを開発し、その研究の継続を支援するコネクショニズムの支持者がいる。反対側には、シンボルの構築と操作に基づくAI理論の支持者がいる（この支持者は、例えば正式なロジックの使用を主張する）（※訳註5）。コネクショニズムとシンボル操作のAI理論を結合させたハイブリッドな理論構造をもつシステムを議論する成長中のコミュニティもある。これらの議論にも批評が不可欠だ。なぜなら、AIコミュニティはわたしたちの仮説に絶えず挑戦し、社会の時間とカネをAI科学技術の進歩に投資する方法を選択しなければならないからだ。しかしながら、「今日のディープラーニングベースのシステムは真の理解を示さない。それゆえ、ディープラーニングを放棄すべきだ」という議論にはわたしは反対する。この議論は「今日のディープラーニングベースのシステムは大きな進歩を遂げており、ディープラーニングをさらに追求することで「知性」が解明されるだろう」という議論と同じくらい間違っている。わたしは、リサーチプログラムは実りあるものになるのを止めるまで追求される傾向があるというラカトシュ（1978）による分析が好きだ（※訳註6）。コネクショニストのプログラム、シンボル表象主義者のプログラム、新興のハイブリッドプログラムは引き続き追求すべきとわたしは考えている。なぜならば、これらの理論はすべて非常に実り多いものであり続けているからだ。
ディープラーニングに対する批評は、すでに新しい方向に向かっている。とりわけディープラーニングシステムがさまざまなベンチマークタスクでヒトのパフォーマンスに一致するが、表面的に非常に類似したタスクに一般化できないという実証は、機械学習に危機をもたらした（ここで言う「危機」はクーンが1962年に提唱した意味をもっている（※訳註7））。こうした批評に対して、研究者は学習の不変性（Arjovsky 2019、Vapnik＆Ismailov 2019など）や因果モデルの発見（Peters 2017）などの新しいアイデアで対応している。これらのアイデアは、シンボル表象主義者およびコネクショニスト両方の機械学習に適用可能だ。
心あるいは認知的活動を「シンボルの構築と操作」としてとらえる立場は、物理記号システム仮説と呼ばれる。この仮説は世界を記号に置き換えることができれば、その記号を操作することで世界を理解できると考える。この仮説に立つと、AI開発とは世界を指示する記号の操作方法の開発と同義となる。この立場は「心の計算理論」と呼ばれることがある。
ちなみに、「パラダイム」という用語が「時代の思考を決める大きな枠組み」という意味で拡大解釈され、ビジネス書でも頻出するようになったことを憂慮して、後にクーンは「専門図式」という概念で再定式化した。
AIの「理解」する機能を実証する評価テスト
「本物の」理解と見なされるものについて議論することなく、AIの科学技術の進歩を追求すべき、というのが正しいとわたしは思っている。「本物の」理解について議論する代わりに、今後5年、10年、または50年の間に達成すべきシステム機能に焦点を当てることを勧める。AIが実行する能力を持っているかどうか測定するためにAIシステムにおいて実行可能なテストを実施するという観点から、AIの能力を定義すべきなのだ。こうしたAI評価法を実行するには、AIの機能が実行可能でなければならない。要するに、私はAIのテスト駆動型開発について議論しているのだ。このAI開発には「理解」と「インテリジェンス」に関する曖昧な概念を具体的で測定可能な機能に解釈することが求められる。この解釈自体が、（AIの能力を評価するための）非常に有用な実習になる。
評価テスト実行時には、AIシステムの入出力動作のみ考慮する必要があるのではない。テストの動作を引き起こす（データ構造、知識ベースなどの）内部構造も調べることができる。AIが神経科学より優れている大きな利点の1つは、AIの動作を理解して評価するために、AIシステムを使って実験することがはるかに容易いことだ（※訳註8）。ただし、注意が必要である。ディープラーニングを含むコネクショニスト的手法は、解釈が困難な内部構造を生成することが多く、このことは脳にも当てはまる。したがって、（たとえば、記号表現のような）特定の構造が現れていることを確認することを研究目標として設定するべきではない。むしろ、求めていた実行可能な能力に焦点を合わせ、そうした能力を実現している内部構造がどのようになっているのかを問うべきなのだ。例えば対話を成功させるには、対話の参加者が相互作用の履歴を追跡する必要がある。しかし、これを行うには多くの方法があり、ディープラーニングシステム内で明示的な履歴メモリを見つけることが不可欠とすべきではない。反対に特定の内部構造をプログラムしたからといって、意図したとおりに動作するわけではない。Drew McDermottは、有名な批評「人工知能は自然な愚かさに出くわす」（McDermott、1976）で、この問題について詳しく議論した。
「真の理解」を想定せずにテストを繰り返す
AIの進歩と批判の波が繰り返されるによる帰結のひとつは、「AI効果」として知られている。この言葉は、最新のAIシステムは「真の理解」や「本当の知性」を示していないので、研究分野としてのAIは失敗したと見なされることを意味する。AI効果の結果としてAIの成功は却下され、研究資金が減少する。例えば、人間レベルでチェスや囲碁をプレイすることが知性の基準と見なされていた時代があった。しかし、Deep Blueが1997年にカスパロフを破った時（Campbell他、2002）、ある著名なAI研究者はチェスで人間に勝つことは簡単だと主張した。この研究者は本当に知性があることを示すためには、連結されたセミトレーラートラックを駐車スペースに戻す「トラックのバッカ―アッパー問題（truck backer-upper problem）」をAIが解決しなければならないとも主張した（この主張の出典は私信）。実際にはこの問題は、9年前に強化学習を使用してNguyenとWidrowによってすでに解決されていた（Nguyen＆Widrow、1989）。今日多くの思慮深い批判者が、システムが「理解」を示していることを宣言するのを可能にする新しいタスクと必要または十分な条件に関する新しいセットを再び提案している。
ところでAIの研究開発は、社会に価値を供給するこれまでにない機能を備えたシステムを提供している。AI研究における知的誠実さと継続的な資金提供の両方に関して、AI研究者が自らの功績を称えるとともに、自分たちの欠点を把握することが重要である。また、われわれはAIの新しい進歩をとりまく誇大広告を抑制し、AIシステムがユーザやシステムの目的を理解したりしなかったりする方法と、そのシステムが動作するより広い世界を客観的に評価しなければならない。AIにおける成功を「フェイク」あるいは「真正ではない」として却下することを止め、誠実さと生産的な自己批判をもって前進しようではないか。
参考文献
Arjovsky, M., Bottou, L., Gulrajani, I., & Lopez-Paz, D. (2019). Invariant Risk Minimization. ArXiv, 1907.02893(v2), 1–31. http://arxiv.org/abs/1907.02893
Baudiš,, P. & Gailly, J.-L. Pachi: State of the art open source Go program. In Advances in Computer Games, 24–38 (Springer, 2012).
Campbell, M., Hoane, A. J., Hsu, F. H. (2002). “Deep Blue”. Artificial Intelligence. 134: 57–59. doi:10.1016/S0004–3702(01)00129–1
Cole, D. (2014). The Chinese Room Argument. The Stanford Encyclopedia of Philosophy https://plato.stanford.edu/entries/chinese-room/
Kuhn, Thomas S. (1962). The Structure of Scientific Revolutions (1st ed.)（邦訳『科学革命の構造』）. University of Chicago Press. p. 172. LCCN 62019621.
Lakatos (1978). The Methodology of Scientific Research Programmes: Philosophical Papers Volume 1.（邦訳『方法の擁護 学的研究プログラムの方法論』） Cambridge: Cambridge University Press
McDermott, D. (1976). Artificial intelligence meets natural stupidity. ACM SIGART Bulletin (57), 4–9.
Nguyen, D.S., & Widrow, B. (1989). The truck backer-upper: an example of self-learning in neural networks. International Joint Conference on Neural Networks (IJCNN 1989), 357–363 vol.2.
Peters, J., Janzing, D., & Schölkopf, B. (2017). Elements of Causal Inference: Foundations and Learning Algorithms. MIT Press Cambridge, MA, USA.
Searle, J. (1980). Minds, Brains and Programs. Behavioral and Brain Sciences, 3: 417–57
Vapnik, V., & Izmailov, R. (2019). Rethinking statistical learning theory: learning using statistical invariants. Machine Learning, 108(3), 381–423. https://doi.org/10.1007/s10994-018-5742-0
原文
『What does it mean for a machine to “understand”?』
著者
Thomas G. Dietterich
翻訳
吉本幸記（フリーライター、JDLA Deep Learning for GENERAL 2019 #1取得）
編集
おざけん
