著者のThomas Nield氏は、アメリカ大手航空会社サウスウエスト航空のビジネスコンサルタントを務めているとともに、SQLやRxJavaに関する入門書をオライリーから出版しています。同氏が長文英文記事メディアMediumに投稿した記事では、第3次AIブームともいわれるディープラーニングの流行に関して警鐘を鳴らしています。
AIの歴史を振り返ると、推論や検索に基づいた第1次AIブーム、エキスパートシステムの開発が流行した第2次AIブームがありましたが、これらのブームが終息した原因は共通していると同氏は考えます。その原因とは、AIに対する過度な期待とその期待に便乗したAIの誇張です。つまり、AIで実現可能なことを実際より大きく見せることで期待を煽りますが、その期待に応えられない度にブームが終息してきた、というわけです。そして、同氏は今日のディープラーニングの流行によって火がついた第3次AIブームにも、かつて行われた煽動と誇張を見ます。
現在のAIブームに煽動と誇張を見る同氏は、この流行は2019年から2020年にかけて終息すると主張します。この主張の根拠として、ディープラーニングの進化を加速するはずの学習データが不足していること、さらにはディープラーニングをもってしても計算複雑性理論から見て解決困難な問題は依然として解決が難しい、といったことを挙げます。そのうえで、AIを正しく活用するためにはディープラーニングの効用を妄信せず、個々の問題にあったAI技法を適用することを説いています。
今日のAIブームに関しては、調査会社ガートナーが発表した「日本におけるテクノロジのハイプ・サイクル：2018年」において「人工知能」が「ブロックチェーン」ともに幻滅期に入ったことが話題になりました。その一方で、「シンギュラリティ（技術的特異点）」を唱えたレイ・カーツワイル氏が人工知能は順調に進化していると発言したことが報じられており、現在進行形のAIブームの行く末に関しては予断を許さない、というのがもっとも穏健な見方かも知れません。
以下の後半記事では、ディープラーニングの流行に見られる誇張と限界が指摘された後に、AIがヒトのような思考あるいは意識を持ち得るか、という哲学的な問いかけがなされます。
もうひとつの「AIの冬」が訪れるのではないだろうか？
画期的だった1965年の「MAC Hack VI」チェスプログラム（訳注：MAC Hack VIとは史上初めてチェスの世界トーナメントに出場したチェス・プログラム。4回トーナメントに出場し、通算3勝12敗3引き分けだった。）
歴史は繰り返す
ニューヨーク大学のGary Marcusはディープラーニングの限界に関する興味深い論文を執筆し、いくつかの冷静な観点を提示した（※註1）（また彼はこの論文がバズった後に同じく興味深い続編記事も書いている）。ロドニー・ブルックス（※註2）は自身のブログでAIに関する年表を公開し、その年表にはAIブームの周期を追いかける予測がなされている。その予測では2020年には「ディープラーニングの時代は終わる」という見出しを見ることができる。
（※註1）Gary Marcusが2018年1月に発表した論文「ディープラーニング：その批判的査定」では、ディープラーニングに関する10の懸念点を挙げたうえで、ディープラーニングには限界があることが論じられている。そして、論文の結論部では今日のディープラーニングの礎を築いたジェフリー・ヒントンが同技術の要となるバックプロバゲーション（誤差逆伝播学習法）について「深く嫌疑している」と発言したテック系メディア『Axios』の記事を引用している。
（※註2）ロドニー・ブルックスは、お掃除ロボット「ルンバ」を開発・販売するiRobotを創業したロボット研究者。周囲の環境との相互作用から振舞いを学習する「サブサンプション・アーキテクチャ」の概念の提唱者として知られている。2008年には、ロボット企業Rethink Roboticsを設立した。
ディープラーニング懐疑論者は、一般にいくつかの重要な論点を共有している。そうした論点のひとつに、ニューラルネットワークはデータに飢えているのだが、現状ではデータに限りがある、というものがある。こうしたデータの不足が、（このゲームやあのゲームのような）YouTubeで見ることができる「ゲーム」AIが、ニューラルネットワークがゲームに勝つことができるパターンを見つけるまではしばしばゲームに負け続ける日々を必要とする原因となっている。
わたしたちはAIに対する期待を鎮め、「ディープラーニング」の能力をもてはやす風潮を止めなければなならい。もしそうしなければ、再びAIの冬が訪れることを実感するだろう（本記事より引用）。
ニューラルネットワークは、問題について深く理解するように開発されているからではなく、技術的に複数のノード層を持つという点で「深い」のである。これらの層はまた、その開発者にとってさえも、ニューラルネットワークを理解することを困難にしている。最も重要なことには、ニューラルネットワークが巡回セールスマン問題（※註3）のような他の問題空間に進入すると、見返りが逓減する羽目になることだ。こうした見返りの逓減は、理にかなっている。それゆえ、検索アルゴリズムがはるかに簡単かつ効果的で、拡張可能でもあり、そして経済的に問題を解決する時に、一体なぜ私は巡回セールスマン問題でニューラルネットワークを使うだろうか（下のビデオを参照）。
（※註3）巡回セールスマン問題とは、複数の都市を1度だけ訪問する場合に最短となる経路を算出する問題のこと。訪問する都市数が多くになるにつれて可能な経路が爆発的に増えるので、都市数が多い場合は計算に膨大な時間を要する。
巡回セールスマン問題を解くようにシミュレートされた検索アルゴリズムが使われる様子を表現した動画
同様に数独を解いたりイベントをスケジュールに収めるなど、他の日常的な「AI」の問題を解決するためにディープラーニングを使うようなことをわたしはしない。ディープラーニングの使い方に関しては本記事とは独立した以下の記事ですでに論じている。
（訳注：上記記事タイトルは『数独とスケジュール』）
もちろん、より多くの問題空間をニューラルネットワークの問題として一般化しようとしているヒトビトもいる。この試み自体は興味深いのだが、ニューラルネットワークが個別の問題を解くために作られた特別なアルゴリズムよりも優れていることはめったない。
MITのLuke Hewitt が、この記事でもっともうまくニューラルネットワークを一般化する難しさを表現している。
たったひとつのタスクだけに基づいて、機械がいかに広範に知的であるにちがいないと思ったり、あるいは知的な能力を持っていると直観することは悪い考えだ。1950年代のチェッカーをプレイする機械は研究者を驚かせ、彼らの多くはこの機械を人間レベルの推論にいたる大きな飛躍であると見なしていたが、今やわれわれはチェッカーで人間と同じか超人的なパフォーマンスを達成することは人間レベルの一般的知能を達成するよりはるかに簡単であることが分かっている。実際、最高の人間でさえも、単純なヒューリスティックを用いた検索アルゴリズムによって容易に打ち負かされるであろう。1つのタスクにおいて人間と同じか超人的なパフォーマンスを達成したからといって、大部分のタスクにわたって人間に近いパフォーマンスを達成する足がかりになるとは限らないのだ。
― Luke Hewitt
ニューラルネットワークは訓練するのに膨大な量のハードウェアとエネルギーを必要とすることも指摘する価値があると思われる。私には、運用コストの大きいニューラルネットワークが今後も成長し続けるとは感じられないのだ。もちろん、ニューラルネットワークは訓練されればより効率的に予測するだろう。しかしながら、ニューラルネットワークに関して野心を持っているヒトビトは継続的な訓練を求めるがゆえに、そうしたヒトビトはニューラルネットワークを運用するのに必要な指数関数的に増えるエネルギーとコストを要求するだろう。確かにコンピュータはまだ高速化し続けているが、チップ製造業者はムーアの法則が減退した後も奮闘することができるだろうか。
最後に考慮すべき点は、P対NP問題である。この問題を可能な限り簡単な用語で説明すると、P = NPを証明することは、（機械学習、仮想通貨、そして最適化のような）難しい問題であっても可能な限り早く検証すれば計算によって解決可能なことを意味する。P = NPを証明することで起こるブレイクスルーは、AIアルゴリズムの能力を劇的に拡張し、われわれの認識を超えて世界を変えるかも知れない（興味深い事実として、こうしたアイデアを探求している『The Traveling Salesman』（『巡回セールスマン』日本未公開）という2012年の知的スリラー映画がある）。
以下にP対NP問題を解説する素晴らしいビデオを示す。見るのに10分かかるがその価値はある。
P対NP問題の解説
P対NP問題が定式化されてから50年が経ったが、悲しいことにより多くのコンピュータ科学者がPがNPに等しくないと信じるようになった。私見ではP対NP問題はわれわれが決して克服することができないAI研究に関する非常に大きな障壁であり、この問題は複雑さが常にわれわれに可能なことを制限することをも意味している。
こうしたディープラーニングにおける見返りの逓減は、理にかなっている。それゆえ、検索アルゴリズムがはるかに簡単かつ効果的で、拡張可能でもあり、そして経済的に問題を解決する時に、一体なぜ私は巡回セールスマン問題でニューラルネットワークを使うだろうか。（本記事より引用）
私が再びAIの冬が訪れると考える理由がほかにもある。2018年になってますます多くの専門家、記事、フォーラムへの投稿、およびブロガーがAIの限界を指摘するようになった。私が思うにこうした懐疑論の傾向は2019年に激化し、2020年には主流になるだろう。企業は依然として最高の「ディープラーニング」と「AI」の人材を得るための費用に糸目をつけていないが、ディープラーニングは必要としていたものではなかったと多くの企業が認識するのは時間の問題だと思われる。さらに悪いことに、もし読者諸氏の会社がGoogle並の研究予算、博士号を持っている人材、あるいはユーザーから収集した大規模なデータストアを持っていなければ、実用的な「ディープラーニング」を開発できる見込みは非常に制限されるだろう。こうした事情は、HBOのドラマ『Silicon Valley（シリコンバレー）』から引用した以下のシーンによく描かれている（警告：動画の言葉遣いには一部汚い言葉がある）。
今までにあったAIの冬においてはいずれも、科学者たちが自分たちが作ったもののポテンシャルを誇張したり歪めたことが先行していた。彼らにしてみれば、自分たちのアルゴリズムが1つのタスクに関してはうまく実行されると言うだけでは不十分なのだ。野心的な彼らは、自分たちのアルゴリズムがどんなタスクにも応用できることを望んでいるし、少なくともすべてに応用できるという印象を与えたいと思っている。例えば、AlphaZeroは今までよりうまくチェスをプレイするアルゴリズムである。メディアは「なんてこった、汎用AIがもうここにある。ヒトはみんなAIに追い抜かれる！ロボットの到来も目前だ」と反応する。だからといって科学者たちはメディアを正すようなことには手を焼かず、むしろよりスマートな言葉を使ってメディアの反応を助長するのだ。一般のヒトビトが抱く期待を鎮めることは、結局のところ、ベンチャーキャピタルからの資金調達には役立ないからだ。しかし、AI研究者が現状のロボットには限界があるにもかかわらずアルゴリズムを擬人化する理由は他にもあり、その理由は科学的というよりは哲学的なものなのだ。この論点は、本記事の最後までとっておく。
それでは次は？
もちろん、「機械学習」や「AI」を使っている企業のすべてが実際に「ディープラーニング」を使っているわけではない。ニューラルネットワークを構築するために雇われた優秀なデータサイエンティストは、真剣に問題の解決について研究している場合にはニューラルネットワークより単純ベイズ分類器（※註4）が適切とみて構築することもある。画像認識と言語処理をうまく使用している企業は、ニューラルネットワークを今後もうまく使い続けるだろう。しかし、ニューラルネットワークはこれらの問題空間に関してもはやあまり進歩しない、と私には思われるのだ。
（※註4）単純ベイズ分類器とは、確率論におけるベイズの定理を用いた分類を行う機械学習の一種であり、教師あり学習に含まれる。スパムフィルターやウェブニュースの分類に応用される。
ディープラーニングへの期待を鎮めることは、ベンチャーキャピタルからの資金調達には役立たない。（本記事より引用）
過去にあったAIの冬は、その成果としてコンピュータサイエンスの限界を押し広げることを伴っていたので素晴らしいものでもあった。こうしたAIの研究から役立つものが生まれたことは指摘する価値がある。例えば、検索アルゴリズムを応用すればチェスで効率的に勝利したり輸送コストに関する問題で最適解を見つけることができるのだ。簡単に言うと、革新的なアルゴリズムとは、特定のひとつのタスクにおいて傑出したものとしてしばしば現れてきた。
私が指摘したいのは、さまざまな種類の問題に対して、実証済みの解決策がたくさんあるということだ。訪れるかも知れないAI の冬によって寒さにさらされるのを避けるために実行するべき最善のこととは、解決しようとしている問題を明白にして、その本質を理解することだ。こうした後に、特定された問題に対する解決策にいたる直観的な道筋を提供するアプローチを見つけるのである。テキストメッセージを分類したい場合は、おそらく単純ベイズ分類器を使おうとするだろう。輸送ネットワークを最適化しようとしている場合は、おそらく離散最適化を使用すべきである。同僚からのプレッシャーなどには構うことなく、健全な程度の懐疑論をもって複雑なモデルにアプローチすることが許されており、選んだアプローチが正しいものであるかどうかと自問することもできるのだ。
ディープラーニングが大部分の問題について正しいアプローチであるわけではない、ということを本記事が明々白々に示せることを願うばかりである。無料のランチなどないのだ（※註5）。すべての問題を解決する汎用化されたAIソリューションを探すことを妨げる障害を取り除こうとはしないことだ。なぜなら、そんなAIソリューションなど見つからないからだ。
（※註5）ノーフリーランチ定理について言及している。この定理は、あらゆる問題を効率的に解決する解法は理論上不可能なことを意味する。汎用的な最適解法が存在しないことを、ハイラインのSF小説『月は無慈悲な夜の女王』に登場する「無料の昼食なんて存在しない」という言い回しになぞらえて表現している。
われわれの思考はデジタル製品に過ぎないのか？哲学 vs 科学
本記事の最後で投げかけたい論点は、科学的というよりも哲学的なものだ。われわれが有している思考や感情は、線形代数風に掛け合わされたり足されたりした単なる数値のかたまりなのだろうか。実際のところ、われわれの脳はデジタル製品において日々稼働しているニューラルネットワークに過ぎないのだろうか。こうした考えは、われわれの意識を数列に還元するピタゴラス哲学に近いもののように聞こえる。おそらくこの哲学が、ヒトはコンピュータと異なるものは何もないとして多くの科学者たちが汎用人工知能が可能であると信じる理由となっているのだ。（私はこの哲学の存在を指摘しているだけであり、この哲学から導かれる世界観が正しいかあるいは間違っているかはついてはコメントしない）。
同僚からのプレッシャーなどには構うことなく、健全な程度の懐疑論をもって複雑なモデルにアプローチすることが許されており、選んだアプローチが正しいものであるかどうかと自問することもできるのだ。（本記事より引用）
もし以上の疑似ピタゴラス哲学を評価しないならば、傾倒できる最良のアイデアとはAIが感情や思考を持っているかのような幻想を与える行動を「シミュレートしている」、というものである。翻訳プログラムは中国語を理解しているわけではない。そのプログラムは、言葉に関する確率論的なパターンを発見することで中国語を理解しているという幻想をシミュレートしているのだ（※註6）。スマホがイヌの画像を「認識」している時、スマホは実際にイヌを認識しているのだろうか。それとも、かつて見たことのある数字からできたグリッドを見ているに過ぎないのだろうか。
以上の論点は、以下に示す次の記事に続く。
（※註6）アメリカの哲学者サールが考案した思考実験「中国語の部屋」に言及している。この思考実験ではある部屋に英語は分かるが中国語は分からないヒトがいることが想定される。部屋には外部とつながる小さな穴が開いており、この穴から紙キレを交換することができる。
部屋のなかのヒトは中国語でメッセージが書かれた紙キレをもらい、部屋のなかにある英語で書かれた中国語のマニュアルにしたがって、紙キレに新たな記号を付加して部屋の外に返す。紙キレのやり取りにだけ着目すると、部屋のなかのヒトは中国語を理解しているように見える。しかし、実際には部屋のなかのヒトは全く中国語を理解していない。コンピュータの動作を制御するアルゴリズムは、「中国語の部屋」における英語で書かれた中国語のマニュアルに相当する。コンピュータの動作だけに着目すると知性があるかのように感じられるが、コンピュータが実行しているのはアルゴリズムの解釈だけである。それゆえ、コンピュータの知的な挙動から「知性がある」とは判断できない。
「中国語の部屋」は、汎用目的AIあるいはヒトと同様の思考をもつ「強いAI」の開発が不可能であることの論拠として繰り返し言及される。
原文
『Is Deep Learning Already Hitting its Limitations?』
著者
Thomas Nield
翻訳
吉本幸記
編集
おざけん
