最終更新日：
2022年7月12日に正式リリースされた言語モデルBLOOM（BigScience Language Open-science Open-access Multilingualの略称）は、アーキテクチャから見ればGPT-3と同じTransformerベースであり、パラメータ数は1750億のGPT-3より少し多い1760億である月並みなモデルです。
BLOOMの革新性を明らかにするために、まずRomero氏はGTP-3のような現代を代表する大規模言語モデルに共通する特徴をまとめます。これらの言語モデルは、営利目的の民間企業が開発したものです（OpenAIもMicrosoftの資金援助を受けているので、純粋なNPOとはもはや言えません）。GoogleやMetaは一部の大規模言語モデルを公開していますが、そうした大手ハイテク企業は営利に背けないので、最良のモデルを公開するようなことはありません。
対してBLOOMは、営利目的を伴わない完全なオープンソースプロジェクトとして開発され公開されました。同プロジェクトの根底にある価値観をまとめた（記事で解説する）倫理憲章には多様性やオープン性が謳われる一方で、利益を上げるためのビジネスモデルに関する記述は一切ありません。
Romero氏はBLOOMこそが一部の大手ハイテク企業に支配されてきた大規模言語モデルの研究開発を真に民主化するものとして、その革新性を絶賛しています。そして、BLOOMによって「AIのオープンソース開発」という新たなムーブメントが生まれようとしている、とも語っています。
なお、以下の記事本文はAlberto Romero氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。また、翻訳記事の内容は同氏の見解であり、特定の国や地域ならびに組織や団体を代表するものではなく、翻訳者およびAINOW編集部の主義主張を表明したものでもありません。
以下の翻訳記事を作成するにあたっては、日本語の文章として読み易くするために、意訳やコンテクストを明確にするための補足を行っています。
画像出典：BigScience研究ワークショップ
目次
重要なのはDALL-E 2でもPaLMでもAlphaZeroでも、GPT-3でさえない。
こんな大胆な見出しは本当なのだろうか、と思われるかも知れない。答えはイエスだ。その理由を以下に説明しよう。
GPT-3は2020年に登場し、それ以来AI業界全体が意図的に追従し、注目する新しい道を確立した。ハイテク企業は、より優れた大規模モデルを次々と繰り返し作ってきた。しかし、彼らはこの課題に何百万ドルもつぎ込んだが、そのどれもがGPT-3が2年前に示した主導的なパラダイムやゲームのルールを根本的に変えてはいない。
Gopher、Chinchilla、PaLM（間違いなく現在の大規模言語モデルの表彰台に乗る3モデル）はGPT-3よりかなり優れているが、要するに同じようなものだ。Chinchillaはわずかに異なるスケーリング則の成功を証明したが（※訳註1）、他のモデルと同様、大量のデータと計算を用いる大規模なTransformerベースのモデルであることに変わりはない。
DALL-E 2、Imagen、Partiの実行することはテキストから画像に変換することで、これらのモデルにはTransformer以外の技術も追加されているが、ほとんど同じ技術トレンドにもとづいて開発された。FlamingoやGatoもGPT-3から少し離れてより一般的かつマルチモーダルなAIへのアプローチをとっているが、同じアイデアを新しいタスクに適用しただけの（GPT-3の）リミックスに過ぎない（※訳註2）。
しかし、最も重要なことは、以上のAIモデルはすべて民間のハイテク企業の膨大なリソースから生まれていることである。それが共通点なのだ。これらのAIモデルが同じパッケージに属しているのは、技術的な仕様だからだけではない。一握りの裕福な営利目的の研究所が、AIモデル開発に絶対的な支配力を及ぼしているからなのだ。
それが変わろうとしている。
Gatoは、さまざまな入力をシーケンシャルなトークンに変換したうえでTransformerによって処理することで広範なマルチモーダル性を実現した。
以上よりFlamingoとGatoは、両方ともマルチモーダル化されたTransformerネットワークと言える。
BLOOMとBigScienceは、AIコミュニティの変曲点を示している
BLOOM（BigScience Language Open-science Open-access Multilingual）がユニークなのは、GPT-3とアーキテクチャが異なるからではない。実際、BLOOMは176Bのパラメータを持つTransformerベースのモデル（GPT-3は175B）であり、実は以上に言及した（Gopherのような）言語モデルと比べても最もGPT-3と類似している。BLOOMがユニークなのは、このモデルこそが今後数年間のAI研究分野を方向づけるような社会的・政治的パラダイムシフトの出発点であり、大規模言語モデル（Large Language Model：LLM）の研究開発に対する大手ハイテク企業の支配を打ち破るものだからなのだ。
Meta、Google、OpenAIは最近、大型Transformerを使ったモデル（それぞれOPT、Switch Transformers、VPT）をオープンソース化したと言ってよいだろう。こうしたのは、これらの大企業がオープンソースに対する評価を急に高めたからだろうか。大企業に所属するほとんどのエンジニアや研究者は、もともとオープンソースを評価していただろう。彼らはオープンソースの基盤の上に構築されたライブラリやツールを日々使っているから、その価値を知っているのだ。しかし、モラルのない金儲け主義の企業は、より広いAIコミュニティの（オープンソースという）好みの前にそう簡単に屈しない。
もしいくつかの機関や研究所が、オープンソース化の方向に向けて甚大な圧力をかけ始めていなかったら、大手ハイテク企業はモデルをオープンソース化することはなかっただろう。
BigScience、Hugging Face、EleutherAIなどは、大手ハイテク企業がAI研究開発分野にもたらしたものを好ましく思っていない。将来的に多くの人々に利益をもたらす可能性のある ― 願わくはそうであって欲しいのだが ― 技術を独占することは、道徳的に正しいことではない。しかし、GoogleやOpenAIに彼らの研究を教えてほしいと頼み込んだとしても、前向きな反応を期待できなかった。そこでBigScienceをはじめとする一部の機関は自分たちで資金を確保して大規模AIモデルを構築し、その素晴らしさを探求したい研究者に自由に開放することにした。最先端のAIは、もはや私腹を肥やす大企業だけのものではなくなったのだ。
BLOOMは、以上のような努力の集大成である。2021年1月に始まった1年以上の協働作業と、フランスの公共スーパーコンピュータ「Jean Zay」での3カ月以上の訓練を経て、BLOOMはついに完成した。このモデルは世界中の1000人以上の研究者の仕事から成り立っているBigScience研究ワークショップの成果であり、Hugging Face、IDRIS、GENCI、そしてモントリオールAI倫理研究所などのような250以上の機関の協力と支援に頼っている（※訳註3）。
BigScience研究ワークショップに参加する研究者と機関に共通しているのは、テクノロジー、特にAIは人類の利益のためにオープンで、多様かつ包括的でもあり、責任があり、アクセス可能であるべきだと考えていることだ。
彼らの印象的な集団的努力とAI業界における特異なスタンスは、AIモデル（特にBLOOM）の設計の基礎となる社会、文化、政治、環境のコンテキストと、データの選択、キュレーション、ガバナンスのプロセスを考慮したことに他ならない。
BigScienceのメンバーは、BLOOMに使う技術の開発と実装に関して、自分たちが保持する価値観を定めた倫理憲章を発表した。その価値観は、「目的としての…価値」という本質的なものと、「手段としての価値」という付帯的なものの2つに分類されている。以下ではBigScienceとBLOOMの前例のない意義を理解するために、それぞれの価値観を重要視し、憲章を引用して要約することにする(憲章は短いので、一読されることをおすすめする）。
本質的価値
- 包括性：「…BigScienceの成果物への平等なアクセス…無差別なだけでなく、帰属意識も公平…」
- 多様性：「…50カ国、20言語以上、900人以上から成る研究者とコミュニティ…」
- 再現性：「…BigScienceは、研究実験と科学的結論の再現性を確保することを目的としている…」
- オープン性：「…世界中のAI関連研究者が貢献し、この取り組みに参加できる…［そして］その成果は…オープンベースで共有される…」
- 責任：「それぞれの貢献者は、BigScienceプロジェクト内での自分の仕事に対して、個人的な責任と集団的な（社会的・環境的）責任の両方を負っている…」
付帯的価値
- アクセシビリティ：「オープン性を実現するための手段としてこれを定める。BigScienceは、私たちの研究と技術的なアウトプットが、より多くの人々に容易に解釈され説明されるよう、最善の努力を払っている…」
- 透明性 「再現性を実現するための手段としてこれを定める。BigScienceの仕事は、他の人にもわかるように様々なカンファレンス、ウェビナー、学術研究、科学的普及活動によって積極的にアピールされる…」
- 学際性：「包括性を実現するための手段としてこれを定める。BigScienceの成果物を開発する際に包括的なアプローチを採用するために、コンピュータサイエンス、言語学、法律、社会学、哲学、その他関連する分野のあいだで常に橋渡しをする」
- 多言語性：「多様性を実現するための手段としてこれを定める。構想段階から多言語化されたシステムを持つことによって実現する。世界で最も話されている20言語をカバーすることを当面の目標とする…」
BigScienceとBLOOMは間違いなく、AI分野において過去10年のあいだ大企業が（喜んで、あるいは嫌々ながら）築いてきた障壁をすべて取り払おうとする最も注目すべき試みである。そして、すべての人に利益をもたらすAI（特に大規模言語モデル）を構築するための最も誠実で正直な取り組みでもある。
BigScienceのアプローチについてもっと知りたい読者は、大規模言語モデル研究の社会的背景に関するこの素晴らしい3つの連載記事を読もう（※訳註4）。BLOOMへのアクセスは、Hugging Faceから可能だ。
BigScience研究ワークショップに参加した機関（の一部）の概要
| Hugging Face | 「機械学習の民主化」を標榜する企業。さまざまな機械学習モデルを公開している。 |
| IDRIS | IDRIS（Institute for Development and Resources in Intensive Scientific Computing：集約的科学計算の研究開発のための研究所）とは、フランスにある集約的数値計算に特化した研究センター。BLOOMを訓練したスーパーコンピュータ「Jean Zay」を提供した。 |
| GENCI | GENCI （Grand équipement national de calcul intensif：仏語で「国立集約的計算巨大施設」）は、さまざまな分野における集約的数値計算の活用を推進するフランスの研究機関。 |
| モントリオールAI倫理研究所 | AI倫理リテラシーを民主化する国際的なNPO。AI倫理に関するニュースレターや学習コミュニティを運営している。 |
BigScience研究ワークショップにおける社会的、法的、倫理的側面に焦点を当てた3つの活動
|
以上のワークショップに関するさらなる詳細は、モントリオールAI研究所のブログ記事カテゴリー「大規模言語モデル研究における社会的コンテキスト：BigScienceのアプローチ」を参照のこと。
BLOOMは何が違うのか
記事冒頭で述べたように、大規模なオープンソースの言語モデルはBLOOMが初めてではない。MetaやGoogleなどがすでにいくつかのモデルをオープンソース化している。しかし、さすがにそれらは、これらの企業が提供できる最高のものではない。彼らはお金を稼ぐことが最大の目的であり、最先端の研究を共有することは眼中にないのだ。こうした事情により、大手ハイテク企業のPR戦略の一環としてオープンサイエンスに参画するような意図を感じさせるサインは十分とは言えない。
BigScienceとBLOOMは、企業が定義上表明できない倫理的価値観を具現化したものである。目に見える結果は、いずれの場合もオープンソースの大規模言語モデルだ。しかし、BigScienceを導く隠れた－そして極めて必要な－基盤は、これらの集団的取り組みと強力な大手ハイテク企業とのあいだにある不倶戴天の相違を強調している。
（大手ハイテク企業のように）オープンソースの手法を状況に応じて嫌々ながら採用するのと、正しいアプローチだと固く信じて行うのは全く異なる。BigScienceのメンバーは、AIを民主化し、アクセスや結果をオープンにしたり、倫理的な問題に取り組んだりして、多くの人々に利益をもたらすことを目指すべきだという信念を持っており、そうした信念がBLOOMをユニークなものにしている。そして、この信念にもとづいているからこそBLOOMはこの10年間で最も重要なAIモデルである、と私は明々白々に断定したい。
BLOOMは、より良い方向へ激変しようとしている分野の最前線にいる急先鋒である。それは、（大手ハイテク企業がAI研究を支配している）現在の研究動向を超えたムーブメントの旗印なのだ。同モデルはAIの新時代の幕開けであり、この分野をより速く前進させるだけでなく、他の方法で進めようとする人たちに、この分野を支配する新しいルールを受け入れるようにうながすものでもある。
オープンソースがプライバシーやコントロールに勝利したのは、今回が初めてではない。コンピュータ、オペレーティングシステム、ブラウザ、検索エンジンの分野でもオープンソースが勝利した事例がある。最近の歴史は自分たちのために利益を確保しようとする人々と、他のすべての人々のために戦い、そして勝利した人々との衝突で満ちている。そして、こうした衝突に勝利してきたのだ。オープンソースとオープンサイエンスは、テクノロジーの究極のステージである。そして、私たちはAIに関してもオープンソースという新しい時代を迎えようとしている。
・・・
The Algorithmic Bridgeを購読してください。このニュースレターはアルゴリズムと人のあいだのギャップを埋めます。あなたの生活にとって重要なAIについてのニュースレターでもあります。
また、こちらの私への参照リンクを使って会員になれば、Mediumで私の仕事を直接サポートし、無制限にアクセス することができます。:)
Ben Hubermanに感謝の意を表します。
原文
『BLOOM Is the Most Important AI Model of the Decade』
著者
Alberto Romero
翻訳
吉本幸記（フリーライター、JDLA Deep Learning for GENERAL 2019 #1取得）
編集
おざけん
