最終更新日：
「競争と安全上の理由から」学習データやアーキテクチャが非公開だったGPT-4について、2023年6月になってリークがありました。そのリーク内容とは、同モデルは2,200億パラメータの専門家モデルが8つ連結された「専門家混合モデル」だったというものです。このアーキテクチャ自体は、Googleが2021年に発表している何ら革新性のないものです。
実際には既存技術を活用して開発していたGPT-4の詳細を非公開としたOpenAIのビジネス戦略について、ロメロ氏は以下のような3つのメリットがあったと指摘しています。
GPT-4の詳細を非公開にしたことから得られるOpenAIのビジネス戦略上のメリット
|
以上のようなメリットを確認したうえで、GPT-4の詳細を隠して同モデルを紹介したOpenAIのビジネス戦略を「ビジネス・マーケティングのマスタークラス」と呼んで、ロメロ氏はその戦略の巧みさを称賛しています。
なお、以下の記事本文はアルベルト・ロメロ氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。また、翻訳記事の内容は同氏の見解であり、特定の国や地域ならびに組織や団体を代表するものではなく、翻訳者およびAINOW編集部の主義主張を表明したものでもありません。
以下の翻訳記事を作成するにあたっては、日本語の文章として読み易くするために、意訳やコンテクストを明確にするための補足を行っています。
新しいGPT-4のミーム画像：出典
OpenAIの巧妙な策略を解き明かす
GPT-4は史上最も期待されたAIモデルだった。
しかし、OpenAIが3月にこれを発表した時、彼らはそのサイズ、データ、内部構造、どのように訓練し構築したのかについて何も語らなかった。まさにブラックボックスだった（※訳註1）。
結局のところ、モデルがあまりに革新的であったり、アーキテクチャがあまりに堀の深いものであったりしたために、GPT-4の詳細を共有できなかったのだ。しかし、最新の噂を信じるなら、その逆のようだ。
技術的にも科学的にも、GPT-4は画期的とは言い難い。
GPT-4が画期的ではないのは、必ずしも悪いことではない。そうは言っても、同モデルは公開当時には世界最高の言語モデルであったのだ。多少面白味に欠けるモデルではあったが。3年も待たされたのにも関わらず、人々が期待していたものとは違ったようなのだ。
まだ正式には確認されていないが、今回紹介するニュースはGPT-4とOpenAIに関する重要な洞察を明らかにし、AIの真の最先端、そしてその未来について疑問を投げかけるものだ。
GPT-4：小型モデルの混合
6月20日、自動運転スタートアップComma.aiの創設者ジョージ・ホッツ（George Hotz）は、GPT-4は（GPT-3やGPT-3.5のような）単一のモノリシックな高密度モデルではなく、8×2,200億パラメータの混合モデルであるとリークした。その日のうちに、MetaのPyTorchの共同設立者であるスミス・チンターラ（Soumith Chintala）がリークを再確認した。ちょうどその前日には、MicrosoftのBing AIを率いるミハイル・パラヒン（Mikhail Parakhin）もこれをほのめかしていた（※訳註2）。
Currently, they are using a combination of several models. Creative and Precise rely almost exclusively on various variants of GPT-4, while Balanced is more tuned for speed and search-related tasks.
— Mikhail Parakhin (@MParakhin) June 19, 2023
GPT-4は1つの大きな1テラパラメータ以上のモデルではなく、8つの小さなモデルを巧みに組み合わせたものだ。この「ヒドラ」モデルに使われたとされる専門家混合という技術的パラダイムは、オープンAIが新たに考案したものでも何でもない。この記事では、なぜこの技術的パラダイムがAI分野にとって非常に重要なのか、そしてOpenAIが3つの重要な目標を達成するためにどのように計画を見事に実行したのかを説明する。
注意点が2つある。
第一に、これは噂である。明確な情報源（ホッツとチンターラ）は確かなものだが、OpenAIのスタッフではない。パラヒンはMicrosoftで重役の地位にあるが、（GPT-4のアーキテクチャを）明確に確認したわけではない。これらの理由から、この話は大目に見る価値がある。とはいえ、非常に信憑性がある。
第二に、信用に値するものは信用しよう。GPT-4は、ユーザが言うようにまさしく素晴らしいものだ。内部アーキテクチャの詳細は変えられない。そのモデルが動作しているならば、それは役に立つものなのだ。1モデルだろうが8モデル（の混合）だろうが、役に立つことには関係ない。ライティングやコーディングのタスクにおけるそのパフォーマンスと能力は正当なものである。この記事は、GPT-4を非難するものではない。ただ、この記事は（GPT-4に対する）先入観をアップデートした方がいいかもしれないという警告を発しているのだ。
・・・
この記事は、AI、アルゴリズム、そして人々の間のギャップを埋めることを目的とした教育的ニュースレター「The Algorithmic Bridge」からの抜粋です。このニュースレターはAIがあなたの生活に与える影響を理解し、未来をより良くナビゲートするためのツールを開発するのに役立つでしょう。
・・・
GPT-4をめぐる秘密
GPT-4を取り巻く理不尽なまでに大きな期待に対処するため、モデルの不満足な面を隠蔽しながら話題のトップに立ち続けたOpenAIの手腕に、私は拍手を送りたい。
1月、StrictlyVCのコニー・ロイゾス（Connie Loizos）が、Twitterで話題になっていたGPT-4の馬鹿げた100兆パラメータグラフ（※訳註3）について言及した時、アルトマンは彼女に「世間は（GPT-4について）失望したがっているようだし、実際そうなるだろう」と話した。彼は、2022年夏に訓練を終えたGPT-4が人々の（憶測にもとづく大きな）期待に応えられないことを知っていた。
This is a frightening visual for me.
The first dot is the amount of data Chat GPT 3 was trained on.
The second is what chat GPT 4 is trained on.
They are already doing demos.
It can write a 60,000 word book from a single prompt.
The only question I've had about AI… pic.twitter.com/DnAEMm60lh
— Alex Hormozi (@AlexHormozi) January 10, 2023
しかし、彼はOpenAIのほとんど神秘的な評判を失いたくなかった。そこでGPT-4を世間の目から隠し、神秘的なオーラをまとわせて、このモデルへの注目をさらに煽ったのだ。
OpenAIは、その時すでにChatGPTでその地位を確立していた。（Googleの方がAI研究開発の歴史が長く豊かであるにもかかわらず）大多数の目には、OpenAIこそがこの分野のリーダーとして映っていた。そのため、GPT-4が人々の望んでいるような画期的なものではなく、GPT-3からの大きな飛躍でもないことをOpenAIとして明確に認めることができなかったのだ。
そのため、OpenAIはGPT-4が本当に強力であることをほのめかしたり、暗示したりすることに注力してから（例えば、AGIの火花が散る、超知能は近い、など（※訳註4））、競争圧力の高まりを暗示したうえで同モデルの仕様を公開しないという決定について、（OpenAIのチーフサイエンティストである）イリヤ・スーツキーヴァー（Ilya Sutskever）に『The Verge』で擁護発言をさせるにいたった。
また、OpenAIは2023年5月22日、人間の知的能力を凌駕する超知能の管理に関するブログ記事を公開している。
以上のようなOpenAIの秘密主義を読み解く主流的解釈は、次のようなものだった。「事業の存続と安全上の理由から、自社の技術をGoogleやオープンソースの取り組みに真似されるわけにはいかないので、OpenAIはGPT-4の仕様を公開しないのだ。また、GPT-4の（発表当時の）最高性能は、このアーキテクチャが科学的な偉業であることを示唆している。」
OpenAIは望むものを手に入れた。アルトマンは、同社の名声を勝ち取るという思いに正直にしたがった。GPT-4は、人々の（法外な）期待に応えられないものだったかも知れない。しかし同時に、同社はGPT-4に関してサブリミナル的な信号を発することで別の何かを示唆していた。示唆されていたのは、「GPT-4の仕様と性能は、魔法的なもの」ということだ。そして人々はそれを信じた。
それにしても、GPT-4は実際に魔法のようなものだった。それが動くのを見て、私たちはそう思ったのだ。もっとも、その魔法的なものは、多くの人々が革命的な成果だと認識するようなものに由来していない。古いトリックを再構築しただけのようなのだ。複数の専門家モデルを1つに統合し、それぞれの専門家が別々の分野、タスク、またはデータに特化するよう訓練することは、2021年に初めて成功した技術である（※訳註5）。つまり、2年前の技術なのだ。その技術を誰が開発したのか。Googleのエンジニアたちだ（ウィリアム・フェダス（William Fedus）やトレバー・カイ（Trevor Cai）など、彼らの何人かは後にOpenAIに雇われた）。
OpenAIがGPT-4の開発にあたって、技術的な工夫を加えたのは確かなのだが（そうでなければ、Googleは独自のGPT-4を持っているか、それ以上のものを持っているはずだ（※訳註6））、このモデルがベンチマークで絶対的な優位を保っているのは、単に1つのモデルではなく8つのモデルだからだ。
つまり、GPT-4は魔法的なのだが、OpenAIはこのモデルを一種のマジックショーとして私たちが見るように仕向けたのだ。このショーでは、巧みなミスディレクション（※訳註7）とスムーズな手品が巧妙にミックスされている。そしてトリックは、（専門家モデルの混合という）単なるリメイクにすぎない。
GPT-4の真相を隠すことでOpenAIが達成した3つのゴール
第一に、人々の想像力を解放した。OpenAIに懐疑的な人々はGPT-4の公開を非科学的な実践とみなしたが（※訳註8）、すべてを明かさない公開方法がモデルの力についての憶測を煽った。その結果、AGIとそれに対する計画の必要性という、同社が好むストーリーを確立できた。高度AI開発に関する安全要件（特に一般ユーザのため）と規制（彼らの目標に合ったもの）が最優先であると政府を説得できた。かくして幻想は完成した。GPT-4はピカピカの外見をしているのだから、中身も同じようにピカピカに違いない。そして、ピカピカなものは危険なものでもあり得る。
実際のところ、嫌味な例えをするならば、GPT-4は 「トレンチコートを着たアライグマ」という眼差しから描かれるのが相応しい（※訳註9）。
第二に、OpenAIがオープンソースの取り組みやグーグルやAnthropicのような競合他社から、自分たちが発明・発見したとされる技術がコピーさえるのを効果的に防いだ。しかし、GPT-4で築いたと思われていた堀は、実際にはなかった（※訳註10）。LLaMAはGPT-4と競争できないが、8つのLLaMAを結びつければ競争できるかも知れない。人々はリンゴとオレンジを比較していたのが、そのことに気づいていなかったのだ（※訳註11）。だから、私は勘違いしていたのかも知れないし、オープンソースは結局それほど遅れていなかったのかも知れない（※訳註12）。
オープンソースコミュニティが大手AI企業の覇権を覆せない3つの理由
|
OpenAIが築いた堀は、GPT-4を実際よりも印象的に見せていた。
最後に、OpenAIはGPT-4が実際にはそれほどAIのブレークスルーではないという真実を隠し、目撃者、部外者、そしてユーザが、この分野における破竹の勢いのように見える進歩に寄せていた信頼を失うのを効果的に防いだ。細かいことを言えば、OpenAIが8つのGPT-3.5モデルを重ねて訓練・実行するのに十分な資金とGPUを持っていたのに加えて、他社が発明した古い技術を誰にも言わずにほじくり返す大胆さを持っていた結果として、GPT-4が誕生したのだ。
GPT-4はビジネス・マーケティングのマスタークラスだったのだ。
結論
ホッツが示唆するように、OpenAIや業界全体がネタ切れなのかも知れない。企業、メディア、マーケティング担当者、そしてarXivの動向を見るとAIはマイルストーンに次ぐマイルストーンで急速に進歩しているように見えるが、実際はそんなに進歩していないかも知れない。GPT-4はGPT-3からそれほど飛躍していないのかも知れないのだ。
GPT-4の完全公開版が入手できるまでは、以上の噂は噂のままだ（私はOpenAIに問い合わせたが、まだ返事はない）。しかし、この話の信憑性を否定するのは難しい。ソースの価値に加えて、全体的な一貫性がある。だから私はこのニュースに高い信頼性を与えている。
この件に関するホッツの結論を引用しよう「企業が秘密主義であると時はいつも、それほどクールではない何かを隠しているからである。GPT-4は結局のところ、それほどクールではなかったのかも知れない」
・・・
もしこの記事が気に入ったなら、私は週3回、AIと人間の橋渡しをするニュースレター「The Algorithmic Bridge」を書いています。このニュースレターは文化からビジネス、哲学に至るまで、AIが他のあらゆるものとどのように相互作用するかを理解するのに役立つでしょう。
また、こちらの私の紹介リンクを使って会員になれば、Mediumで私の仕事を直接サポートし、無制限に私の記事にアクセスできるようになります！:)
原文
『GPT-4’s Secret Has Been Revealed』
著者
アルベルト・ロメロ（Alberto Romero）
翻訳
吉本幸記（フリーライター、JDLA Deep Learning for GENERAL 2019 #1取得）
編集
おざけん
