毎日2億人がChatGPTを利用している。この状況にOpenAIは長くは耐えられないかも

最終更新日： 2023年9月29日

AINOWで記事を多数紹介しているスペイン在住のAI技術批評家アルベルト・ロメロ（Alberto Romero）氏は、2023年8月末にMediumに投稿した記事『毎日2億人がChatGPTを利用している。この状況にOpenAIは長くは耐えられないかも』において、AI業界のGPU不足がOpenAIに与える影響を考察しています。
2023年になって大規模言語モデルの開発競争が激化したことに伴い、AI業界は深刻なGPU不足に陥っています。とくに大規模言語モデルの訓練と運用に非常に有効なNVIDIA H100については、世界的なAI企業らによる争奪戦の様相を呈しています。
以上のようなGPU不足がOpenAIの今後の動向に与える影響に関して、ロメロ氏が考察した要点を箇条書きで列挙すると、以下のようになります。

世界的なGPU不足がOpenAIに与える影響

GPU不足により、2023年8月末時点ではGPT-5の訓練開始は未確認。
現在のChatGPTの1日当たりのユーザ数は最大2億人と推計されており、同モデルの運用だけで多大なGPUリソースを費やしている。
GPT-5の訓練だけではなく、同モデルの運用にも多大なGPUリソースが不可欠。
かりにGPT-5の訓練が完了しても、GPU不足が続く限り、同モデルはゆっくり展開されるだろう。
イーロン・マスクの見積もりによれば、GPT-5の訓練と運用には最大5万台のNVIDIA H100が必要。
世界中のAI企業がNVIDIAに要求しているH100の台数は約40万台と推計されるので、OpenAIがGPT-5開発運用で必要なH100の台数は全体需要の12.5%となる。

以上のように考察したうえで、GPU不足に関してOpenAIと一般ユーザにできることは、事態が好転するまで待つしかない、とロメロ氏は結論づけています。
ちなみに、一部のChatGPTユーザが指摘していた同モデルとGPT-4の性能劣化は、計算需要に対してOpenAIが持つ計算リソースが足りなくなったため生じたのかも知れない、とも同氏は指摘しています。

なお、以下の記事本文はアルベルト・ロメロ氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。また、翻訳記事の内容は同氏の見解であり、特定の国や地域ならびに組織や団体を代表するものではなく、翻訳者およびAINOW編集部の主義主張を表明したものでもありません。
以下の翻訳記事を作成するにあたっては、日本語の文章として読み易くするために、意訳やコンテクストを明確にするための補足を行っています。

OpenAIには必要なコンピューティングパワーが不足している
GPU不足がOpenAIの計画延期を余儀なくしている
この状況を救うためにOpenAIは何をしているのか

OpenAIには必要なコンピューティングパワーが不足している

GPT-5は待たなければならない。

驚いたことに、OpenAIは6月にGPT-5のトレーニングはまだ行っていないと報告した（※訳註1）。

（※訳註1）TechCrunchは2023年6月7日、インドのメディアEconomic Timesが主催したカンファレンスに出席したアルトマンCEOの発言を報じた。同CEOは「このモデル（GPT-5）をスタートさせる前にやるべきことがたくさんあります。そのために必要だと思われる新しいアイデアに取り組んでいますが、まだスタートラインには立っていません」と述べた。

8月26日の時点でも、開始されたかどうかは確認されていない。良いニュースは、彼らが7月に「GPT-5」の商標を申請したことと、開発者のスーチー・チェン（Siqi Chen）が（おそらくOpenAIの内部の誰かから聞いて）2024年末までにモデル（GPT-5）の訓練を終えるだろうと「言っている」ことだ。

しかし、OpenAIが今年GPT-5の訓練を終えたとしても、おそらくすぐにユーザがモデルにアクセスできるようにはしないだろう。そんな余裕はないのだ。

・・・

この記事は、AI、アルゴリズム、そして人々の間のギャップを埋めることを目的とした教育ニュースレター「The Algorithmic Bridge」からの抜粋です。このニュースレターはAIがあなたの生活に与える影響を理解し、未来をより良くナビゲートするためのツールを開発するのに役立ちます。

Algorithmic Bridgeは9月14日まで30％オフです！

・・・

GPU不足がOpenAIの計画延期を余儀なくしている

GPU不足は2023年第2四半期以来、業界の公然の秘密だった。今、AIのリーダーたちは、この悩ましい現実をはっきりと認めている。クラウドプロバイダー（Google、Microsoft、AWSの大手3社）やLM（Language Model：言語モデル）ビルダー（主にGoogle、Meta、OpenAI、Anthropic、Inflection）の需要を満たすには、最先端のNVIDIA H100 GPUが足りないのだ。少なくとも2023年第4四半期までは、需給均衡に達することはないだろう。

OpenAIは5月、まさに以上の理由で短期計画を遅らせたことを認めた（ソースはHumanloopの記事で、OpenAIの要請を受けて削除された）。GPT-5を訓練していなかった本当の理由もそこにある（注意点として、GPT-4は2023年3月にリリースされたが、訓練が終了したのは2022年夏なので、GPT-5を訓練しようとするまでには1年あったことになる）。

その少し前、5月にもアルトマンは上院で「GPUが足りないからChatGPTの利用を減らしてほしい」と冗談半分に語り、まさにこの問題を明確に指摘していた。プリンストン大学の博士課程に在籍し、ニュースレター「AI Snake Oil」の共著者であるサヤシュ・カプーア（Sayash Kapoor）によれば、1日の利用者数は増加の一途をたどり、最大2億人に達しているという。

ChatGPTを発表した直後の12月5日の時点で、アルトマンはChatGPT（当時はChatGPTのバックエンドはGPT-3.だったので、GPT-4よりも安価だった）で推論を行うための計算コストが「涙が出るほど」かかると告白していることを考えれば、同氏の上院での発言も驚くにはあたらない。こうした事態はOpenAIにとって恐ろしいニュースのように聞こえるが、公開された情報にもとづいているにすぎない。MicrosoftのAzureへの優遇アクセス（Microsoftのエンジニアより優遇される）があったとしても、（公開されていない）実際の状況は同社にとってもっと悪いことになっているだろう。

(余談：もし現状のGPU不足がGoogleやOpenAIのような企業にとって不利に見えるなら、彼らは世界で最も有利な立場にあるAI企業だということを思い出してほしい。二流、三流のAI企業やスタートアップにとって、現状は大惨事だ。GPU不足は、既存のものに匹敵するだけでなく、競争力のあるコストでそれを実現できるような新しいAIモデルを生み出そうとする困難な戦いを悪化させるため、この排他的なグループ以外の企業にとってさらなる参入障壁（※訳註2）となる。誰かが既存企業は勝てないと言っていたが、そんなことはないだろう（※訳註3））

（※訳註2）TechCrunchは2023年4月7日、OpenAIの競合企業のひとつであると同時にAIスタートアップでもあるAnthropicの資金調達状況について報じた。Anthropicは今後2年間で50億ドルの資金調達を目指しているのだが、2023年2月3日にはGoogle Cloudとパートナーシップを提携した。また、同社は2023年9月25日、Amazonが同社に最大40億ドルを出資することを発表した。
以上のように、大手のAI企業とクラウドプロバイダーは資本を集中させて排他的なグループを形成しつつある。

（※訳註3）この記事の著者であるロメロ氏は2023年6月1日、オープンソースの言語モデルの動向を考察した記事を公開した。その記事ではGoogleがオープンソース言語モデルに敗北すると主張する同社の内部文書を引用したうえで、Microsoftが支援するOpenAI陣営やGoogleにはこれらの企業のアプリを使っている多くのユーザがいるので、こうした既存アプリにAIを実装すればユーザを囲い込める、と考察している。
こうした考察から、既存ユーザがいないオープンソース言語モデル開発企業は大手AI企業に勝利しない、とRomero氏主張している。

この状況を救うためにOpenAIは何をしているのか

クレイ・パスカル（Clay Pascal）はGPU不足の問題をこの記事で詳しく取り上げている。この記事でとりわけ彼は、OpenAIがGPT-5を訓練するだけでなく、ユーザがGPT-5で推論を行うために（そしてもちろん、ChatGPTのような他のモデルを円滑に稼働させるために）、どれだけのH100を必要としているのか探求している。

というのも、訓練は最初の段階だが、アルトマンは訓練よりも推論の効率を10倍にしたいと述べており、同社の主なボトルネックは訓練プロセスではなく、サービスを利用する人の多さであることを示唆しているからだ（※訳註4）。

（※訳註4）Sohn Conference財団が2023年5月9日に開催した2023 Sohn Investment ConferenceにアルトマンCEOはパネリストとして出席しており、このカンファレンスの様子は2023年5月11日にYouTubeで公開された。そこで同CEOはアイルランド企業Stripeのパトリック・コリソン（Patrick Collison）CEOから「OpenAIは、訓練と推論のどちらの効率を10倍向上させたいか」と尋ねられた。アルトマンCEOは「もし選択を迫られたら、私は推論効率を選ぶと思う」と答え、「ただし、正しい指標はモデルに費やされるすべての計算、つまり訓練と推論にまつわるすべての計算について考え、それを最適化しようとすることだと思う」とも付け足した。

もしOpenAIがGPT-5のスケジュールを遅らせるなら、遅くなるのはモデルの訓練ではなく、ユーザへの展開だろう。GPT-5が完成しても、私たちはおそらくしばらくモデルにアクセスできないだろう（レッドチームやRLHFなど、モデルを制御し調整するための技術を考慮する必要がないとしても（※訳註5））。

（※訳註5）レッドチームとは、ある組織や製品の脆弱性を検証するために組織されたチームのこと。実際に組織や製品に攻撃をしかけることで、脆弱性をテストする。RLHF（Reinforcement Learning from Human Feedback）とは、大規模言語モデルの回答に対して人間テスターが評価することで、より人間にとって好ましい回答を学習する強化学習技法であり、ChatGPTに使われたことで有名になった。レッドチームによる脆弱性検証やRLHFは、製品がリリースされる前に行われる。
ちなみに、OpenAIは2023年9月19日、同社のレッドチームメンバーの募集を発表した。

パスカルによれば、イーロン・マスクはGPT-5を稼働させるためには「3万〜5万台のH100」が必要だと言っており、彼自身は、OpenAIが制約なしに研究とビジネスの両方を続けるために必要な総数として、最大で5万台のH100の見積もりを出している。

これは、すべての企業がNVIDIAに要求している合計40万台のH100のかなりの部分だ。MicrosoftひいてはOpenAIは、大手チップメーカー（NVIDIAはAzureを使っている）の優先パートナーではあるが、チップメーカーは顧客を多様化し、GPUの割り当てを他の企業（Oracle、CoreWeave、さらにはAWSやGCPなど）にも与えるインセンティブがある。

では、OpenAIに何ができるのか。まあ、文字通り何もできない。他のAIソフトウェア企業と同じように、じっと待つしかない。同社は使用するハードウェアを設計も製造もしていないため、チップメーカーに急ぐよう促すのがせいぜいだ。NVIDIAは生産能力があり、この分野では唯一の真のプレーヤーだ（AMDとIntelは最先端の競合GPUを提供できない）。

だからOpenAIは待つしかない。NVIDIAが今年後半にH100を増産するのを待つか、（NVIDIAのCEOである）フアンが既存GPUの割り当てを増やしてくれるのを待つか、V100/A100/H100ファミリーの次のイテレーションが出るのを待つか（Blackwellと呼ばれるとの噂だが、今のところはHopper-Nextだ（※訳註6））、TSMC以外のメーカー、例えばSamsungがステップアップして最先端のファブになるのを待つか（すぐには無理だが）。

（※訳註6）テック系メディア『Wccftech』は2023年5月29日、NVIDIA Hoppoer GPUの次世代バージョンについての噂を報じた。このGPUは「Blackwell」と命名される可能性が高いのだが、2024年に発表されると予想されている。また、同GPUはAI演算能力が強化されるとも見られている。

そして、私たちはOpenAIと一緒にGPU不足の解決を待たなければならないだろう。数週間前、一部のユーザは同社がChatGPTとGPT-4を性能劣化させたと非難していた（※訳註7）。GPU不足がこの問題の背景にあるのだろうか。結局その苦情は正確だったのだろうか。同社は、規制当局だけでなくユーザからも厳しい監視下に置かれている。そして同社は、AIの進歩をリードするため、新境地を開拓し続けなければならないという比類ないプレッシャーを抱えている。

（※訳註7）ChatGPTとGPT-4の性能劣化については、AINOW特集記事『性能劣化は本当なのか？ChatGPTの性能を検証した3本の論文を解説』の見出し「8つの質問から性能を比較」を参照のこと。

ChatGPTの成功は、GPT-5のスケジュールを遅延させている。その遅延は、OpenAIと私たちユーザ全体の想定を超えているのだ。

・・・

もしこの記事が気に入ったなら、私は週3回、AIと人間の橋渡しをするニュースレター「The Algorithmic Bridge」を書いているので、ぜひ定期購読してください。このニュースレターは文化からビジネス、哲学に至るまで、AIが他のあらゆるものとどのように相互作用するかを理解するのに役立つでしょう！

Algorithmic Bridgeは9月14日まで30％オフです！

また、私の紹介リンクを使って会員になれば、Mediumで私の仕事を直接サポートし、無制限に記事にアクセスできます！:)

原文
『200 Million People Use ChatGPT Daily. OpenAI Can’t Afford It Much Longer』