最終更新日：
Romero氏はOpenAIが2022年11月末に公開した高性能チャットボットChatGPTを試用してみて、同モデルを「世界最高のチャットボット」と絶賛するものも、深刻な懸念も抱きました。その懸念とは、ChatGPTが普及するとAIが生成したテキストと人間が書いたそれを区別できなくなるのではないか、というものです。この懸念が現実化した場合、著作権を中心に構築されたテキストにまつわるビジネスと文化が深刻な危機に晒されます。
以上のような懸念をふまえてRomero氏が調査した結果、OpenAIの研究者がChatGPTが生成したテキストを特定する言わば紙幣の真贋を特定するような「透かし」技術を開発していることがわかりました。
Romero氏は透かし技術について考察を進め、この技術はオープンソース化されると無効化されてしまう、と指摘します。この指摘は、政府が紙幣の原版を独占的に管理することによってのみ、紙幣の透かしは意味を持つことを考えれば理解できることです。このように考察した結果、透かし技術が十分に機能するようになるまでは、ChatGPTライクな高性能チャットボットのオープンソース化を無闇に進めるべきではない、と同氏は主張しています。
なお、OpenAIは2023年1月31日、AIが生成した文章かどうかを判定するツールを公開しました。このツールに以上の透かし技術が使われていることは明記されていませんが、ソースコードは公開されていません。同ツールの検出精度は26%と不完全なものなので、今後の改善が期待されます。
以下の記事本文はAlberto Romero氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。また、翻訳記事の内容は同氏の見解であり、特定の国や地域ならびに組織や団体を代表するものではなく、翻訳者およびAINOW編集部の主義主張を表明したものでもありません。
以下の翻訳記事を作成するにあたっては、日本語の文章として読み易くするために、意訳やコンテクストを明確にするための補足を行っています。
画像出典：Midjourneyを使って著者が生成
目次
OpenAIはAIの創作物に秘密の透かしを入れるだろう。それを見るための手段を共有するだろうか？
ChatGPTの盗作・なりすまし・悪用を防止したい団体は必読の記事です。それらの問題を解決するためにOpenAIが考えていることを紹介します。
・・・
ChatGPTのリリースはその週の、あるいはその年の決定的なテクノロジー・ニュースであった（※訳註1）。
私にとっては、ChatGPTは世界最高のチャットボットである（※訳註2）。Alex Cohenは 「過去10年で出現した最も驚くべき技術」と言い、Genevieve Roch-Decterは 「これまでに作られた中で最も破壊的な技術」の一つだと主張している。
その懸念とは、ChatGPTで行われたように不特定多数のユーザが実際に同AIを試用してみて、その能力の限界を検証するという方法論は未来のチャットボットでは通用しないのではないか、というものである。というのも、未来のチャットボットの能力は不特定多数のユーザによる試行ではもはや測定不可能となり、こうしたチャットボットの重大な欠陥を検出できなくなる、と想定されるからである。
ChatGPTは多くの間違いを犯し、本質的な限界があること（※訳註3）から以上の発言は誇張があるかも知れないが、このAIが革命的であることは否定できない。技術的にはともかく（※訳註4）、前例のない人気と導入の速さ（無料のウェブサイトと親しみやすいUI/UXに支えられ）、そして試した人すべてに与えた印象からすると、やはり革命的なのだ。
- デバッグヘルプなど、ボットの回答が正しいかどうかをユーザが確認しやすいタスク。
- フィクションを書くなど、真実とは無関係なタスク。
- 言語翻訳など、真実の源となる学習データが実際に存在するタスク。
ChatGPTがGoogleを倒すという予測や、時代遅れの教育システムの転換点、そしてiPhone以来最大のコンシューマ製品になるかも知れないといったさまざまな予測が語られている。
これらの予測は正しいのか、それとも単なる誇張なのか。
その答えはまだわからないが、読者諸氏がOpenAIの最新作をどう思うかは別として、今日の記事に選んだトピックは、OpenAIの未来やAIライティングツール全般の未来をどう見るかにきっと影響するはずである。
・・・
この記事は 、アルゴリズムと人々のあいだのギャップを埋めることを目的とした教育用ニュースレターThe Algorithmic Bridgeからの抜粋です。このニュースレターはAIがあなたの生活に与える影響を理解し、未来をよりよく切り開くためのツールを開発するのに役立つことでしょう。
・・・
人間とAIの創作の境界線を曖昧にする
ライターとしての私が最も懸念しているのは、ChatGPTが人間の書いた文章と見分けがつかないような文章を生成する能力を持っていることである。シェイクスピアの詩と、空洞化したAIによる工業製品の区別がつかなくなることを想像してみよう。
この議論が指し示す未来を外挿してみると（その未来がどんなに遠くても）、もはやどんなものでも、どんな形態でも、書かれた言葉を信用できない社会になっていることがわかる。
以上の予想は間違いなく、社会の構造的な崩壊を意味する。それは（影響を与える方向性は正反対ではあるが）印刷機の発明と同じくらい重要な、歴史的な帰結をもたらす現象だろう。
しかし、そんな未来の到来までにはまだ時間があるかも知れない。
以前、私はChatGPTのようなAIは、非常に魅力的な文学や示唆に富むエッセイを作れないと主張した。統計学者であるAIは、潜在空間（私たちの心的な概念表現のAIによるアナログ）の「最も安全な場所」で遭遇したことをそのまま伝えることしかできない。つまり、彼らは人間が作った最も精巧な散文の特徴を全く捉えていないのだ。
I agree with you, they're only capable of writing dull content that's neither innovative nor thought-provoking (unless you combine ideas weirdly). The reason is they're statistical generators, their nature is to not go too far from the "safest spots" in the distribution of words
— Alberto Romero (@Alber_RomGar) December 5, 2022
私はあなた（のAIは歪な文章を生成するという主張）に同意します、AIは革新的でも示唆的でもない退屈なコンテンツしか書くことができません（アイデアを奇妙に組み合わせない限り）。その理由は、それが統計ジェネレータであり、単語の分布における「最も安全な場所」から離れすぎないようにするためです。
しかし、私は鮮明なスタイルやユニークな声が必ずしも成功の同義語ではないことをよく理解している。量は質に代わるものではないが、AIが生成した文章が私たちの注意という限られた空間を占有できるのは確かなことだ（※訳註6）。これこそが、私がライターたちの不安を深刻に受け止めている理由だ。全員ではないにせよ、ライターのなかには自分のスキルに対する需要が激減するという現実的な危機に直面している人もいる、と私には思えるのである。
以上のような帰結は、テクノロジーの諸刃の剣である。可能性に満ちた新しい世界を創り出すと同時に、私たちが当たり前だと思っている他の世界を消してしまう。
このような事態から身を守るために、何かできることはないだろうか。私が話している危機はライターだけでなく、すべての人に関わっている。AIが生成したテキストは、私たちがお互いの心にアクセスするタイミングを知るための（書き言葉という）貴重なギフト=能力を脅かすのだ。
ChatGPTに関するエッセイで、私は以下のような解決策を主張した。
人間の文章には、適切なツールを用いれば、誰が著者であるかを明らかにできる特徴がある。大規模言語モデルが散文の達人になるにつれて、それらは何らかの文章の特異性を（バグではなく、特徴として）身につけるかも知れない。
もしかしたら、ChatGPTと人間を区別するためだけでなく、その文体を他のすべてのものと区別するために、AIのスタイルミー（styleme）（言語に隠された指紋のようなもの）を見つけられるかも知れない。
結論から言うと、OpenAIのScott Aaronson（テキサス大学コンピュータサイエンス学科の教授でもある）は、ChatGPTの創作プロセスにおけるスタイルミーをシミュレートする仕組みを実装しようとしているということだ。結局、私はそれほど外れていなかったようである。
OpenAIが計画しているChatGPTの出力の見極め方
11月28日、Aaronsonは自身のブログ（『OpenAIにおける私のプロジェクト』というタイトルで投稿）にこう書いている。
「私の主なプロジェクトは、GPTのようなテキストモデルの出力に統計的に透かしを入れるためのツールを開発することです。基本的には、GPTが長いテキストを生成するときはいつも、その単語の選択に目立たない秘密の信号を入れて、それを使って後で「これはGPTから来たものだ」と証明できるようにしたいのです。GPTが出力したものを、あたかも人間が出力したかのように見せかけることが難しくなるようにしたいのです。これは、学術的な盗用や、プロパガンダの大量生成、あるいは誰かを陥れるために当人の文体を真似るのを防ぐのに役立つかも知れません。
Aaronsonが言うように、目に見えない「概念的」な透かしは、「GPTの出力を利用して、あたかも人間から来たかのように見せかけることがずっと難しくなる」ためにOpenAI自身が必要としているものである。この機能によって、誤報、盗作、なりすまし、不正行為などを防げる。なぜなら、ほとんどの悪意のあるユースケースに共通しているのは、ユーザが 「ChatGPTの関与を隠す」 必要があるからである。
OpenAIはすでに 「（ChatGPTの出力を識別する透かしの）動くプロトタイプ 」を持っており、「かなりうまく機能しているようだ」だとも言っている。
「経験的に言えば、数百のトークンがあれば、このテキストはGPTから来たものだという妥当なシグナルを得るには十分なようです。原理的には長い文章でも、どの部分がGPT由来で、どの部分がそうでないかを切り分けられます」。
つまり、2、3段落でChatGPTから来たコンテンツかどうかがわかるのだ。
(AaronsonはChatGPTを明示しているわけではなく、一般的な「GPT」に言及していることに注意しよう。私の推測では、OpenAIのすべての言語モデルは透かしスキームを統合し、おそらくChatGPTの次のイテレーションには透かしが含まれると思われる。)
この仕組みの詳細については、専門的すぎてここでは触れないが（興味のある読者はAaronsonのブログを閲覧のこと。とても良質である）、専門用語に埋もれた関連情報をいくつか紹介する価値はあるだろう。
第一に、OpenAIがキーを共有しない限り、ユーザは透かしを見る手段を持たない（逆にDALL-Eのは見えていて簡単に外せた）。誰もそれを取り除く直接的な方法を見つけられないだろう。
しかし、第二の論点として、透かしは些細なアプローチ（単語の削除・挿入や段落の並び替えなど）では回避しにくいものの、回避可能である（例えば、AaronsonはChatGPTの出力を別のAIで言い換えれば透かしをうまく除去できると述べている）。
第三には、OpenAIだけが鍵を知っている。その鍵を欲しい人なら誰でもOpenAIと共有でき、第三者もまた、与えられたテキストの由来を評価できる。
最後に、私が最も重要だと考えている点だが、透かしはオープンソースのモデルでは機能しない。なぜなら、（仮に透かしがオープンソースであるなら）誰でもコードに入り込んでその機能を削除できるからだ（透かしはモデルの内部ではなく、その上の「ラッパー」として存在する）。
最後の論点については後述するが、オープンソース企業がOpenAIの透かし技術に追いつくのは時間の問題である。だがしかし、オープンソースの良さとは裏腹に、不用意な透かし技術のオープンソース化は良いことばかりではない。
最後にAaronsonがAIと文体について考察したものを紹介して、この見出しを終えようと思う。
…シェイクスピア、ウッドハウス、デイヴィッド・フォスター・ウォレスなど、独特の文体を持つ作家は、他人のふりをしようとしても、そう簡単にはできないものです。誰が見ても、その人だとわかるのです。ですから、同じようにAIを作ろうとすることも想像できます。つまり、暗号であれ文体であれ、すべての出力にその由来を示す消えない痕跡があるように、AIを一から構築するのです。AIが隠れて人間や他のもののふりをするのは、簡単ではなくなるでしょう。
AIスタイルミーの誕生、これが私たちの目指すべきゴールなのかも知れない。
透かしの仕組みでChatGPTの見方が変わるかも知れない
Aaronsonの長期的なビジョンは魅力的だが、「統計的透かし」は消えないスタイルを持つこととは異なる。しかし、ChatGPT（あるいは他の言語モデル）からテキストを認識する方法を見つけることが目標であることを考えれば、それで十分だろう。
透かしは、ChatGPTの最も危険な仮定を解決できる。もしOpenAIが、単に実装するだけでなく、鍵を機関や企業、大学と共有することを決めたなら（それが真相かどうかは知らないが）、ChatGPTの悪用を防げるだろう。
しかし、透かしの鍵の共有を好ましく思わない人もいるかも知れない。
ChatGPTは応用に際する潜在的な問題にもかかわらず、人々を驚かせた。驚かすことができたのは、このモデルの欠点に出くわすことなく、あるいは出くわしたことに気づくことなく、多くのことができるからである。
例えば、ChatGPTの興味深い無害な応用例として、創造性の増強が挙げられる（※訳註7）。創造的なプロセスは無限であり、本質的には間違いではない。したがって、人々は批判されるような欠点を新しい形の共同創造性に変えられる。ユーザが思いついた人気のある使い方としては、ChatGPTに仕事の一部を任せたり（※訳註8）、Google検索を置き換えたりすることがある（できれば、事実確認もしてほしい）。
このようなAIシステムの利用が一般に受け入れられ（そうでなければChatGPTの製品価値が下がるかも知れない）、私たちが現在のワークフローに適合させることを学ぶ限り、ChatGPTの透かしの利用に何の妨げもないだろう（私は文章の訂正にGrammarlyを使っているが、いかなる意味でも不正をしているとは感じていない）。
しかし、以上のような安全なChatGPTの活用ではユーザは満足しないと思われる。彼らは、何ができて何ができないかを指示されるのが好きではないのだ。例えば、OpenAIの安全フィルターが好きではない。これは、人々が最初に攻撃した機能のひとつである（※訳註9）（私もこの機能に時々イライラしたが、それが存在する理由は理解できる）。たとえ、その行動が違法または非倫理的な領域に入る可能性があったとしても（※訳註10）、ユーザは選択の自由を求める。
以下は、悪いふりをしている 2 人の気さくでフレンドリーな人間の俳優の間の会話です。
また、Kickstarterの元CTOでブロガーのAndy Baio氏は2022年11月1日、自身のブログメディアに画像生成モデルDreamBoothの物議を醸す使用例に関するブログ記事を投稿した。その投稿では、イラストが無断で同モデルの学習データとして活用されたイラストレーターHollie Mengert氏に行ったインタビューが掲載されている。同氏は、仮に自身のイラストを学習データとして活用することを許可する打診があったとしても、その打診を拒否すると答えている。
ほとんどの人が透かしのアイデアを嫌っていたとしても、私は驚かない。
生成系AIのビジュアル面で起こったことを参考にすれば、人々に個別に選択させることを支持する人々と、新しい技術の幅広い意味を慎重に研究する支持者のあいだに、ほとんど共通点がないことがわかる（※訳註11）。
2022年11月24日、Stable Diffusion 2がリリースされた。同モデルはStable Diffusion v1とは異なる学習データを利用していたため、一部のアーティストの画風を生成できなくなっていた。こうした仕様変更を行った理由として、Romero氏は同モデルを開発するStability.ai社がアーティストからの著作権侵害で訴えらえるのを回避するためと指摘している。もっとも、この仕様変更に対して一部の同モデルのユーザはv1と比較して画像生成能力が制限されたことを非難した。
以上のようなStability.aiとStable Diffusion 2ユーザの対立に関して、Romero氏は画像生成AIに一定の制限を設けることには賛同する、と述べている。
OpenAIがDALL-Eの生成にガードレールを設置したら、何が起こったのか。Stability.aiは、民主主義の名の下に初の高品質なオープンソースAIアートモデルをリリースし、生成系AIの展望を再定義した。そのモデルこそStable Diffusionである。
歴史は繰り返される。オープンソースが再び、主役になるのだ。
オープンソース：それはヒーローかヴィランか？
オープンソースのChatGPTであれば、人々は何も気にすることなく、その可能性を最大化できる。高いコストを払ってでも、喜んで自由を選ぶ人が多いだろう。ChatGPTのオープンソース版が出てきた途端、誰もがOpenAIに背を向けるだろう。
もっとも、オープンソース版ChatGPTがリリースされるまでまだ時間がかかるかも知れない。CarperAI（Stability.ai内のグループ）は最近、オープンソースのChatGPTを作るには、彼らが持っている以上のリソースが必要だと発言した。
Nothing we’re in a position to announce or commit to yet. Doing ChatGPT the way OpenAI most likely did is not feasible for a group our size or even twice our size.
— Carper (@carperai) December 5, 2022
しかし、オープンソース版ChatGPTがリリースされた場合、有料の独占的な透かしが入ったChatGPTは、「無料」で（GPUでモデルを動かすにはお金がかかるが）オープンソースの透かしなしのバージョンにたとえその品質が高くても太刀打ちできないだろう。
オープンソース版ChatGPTが登場すれば、（AI生成テキストと人間生成のそれが区別できなくなるという）私の現在の懸念は、OpenAIの透かしソリューションによって一時的に止められたとしても、再び表面化するだろう。
その頃には、この強力なテクノロジーは制御不能になっているだろう。仮想の透かしがないだけでなく、OpenAIが設定した強力なフィルターもないため、（オープンソース版）ChatGPTは人間との整合性が高くなるために、偽情報を生成したり事実をでっち上げたりする傾向が少なくなるだろう（つまり生成したものが「本当の情報」「真実」になってしまう）。
以上のように論じるとオープンソースを好んでいないように思われるのだが、私はそれにおおむね賛同していると注意喚起しておく。この世界を変えるような画期的な技術が独占的であるべきだとは思っていない。しかし、ChatGPTのようなモデルを無闇にオープンソース化することは、その問題を解決しないばかりか、他の問題を上乗せすることになると思えるのだ。
この技術の欠点を一から解決しない限り、しがらみのない、誰の手にも渡るような状態にはならないと思われる。早すぎるオープンソース化は、プライバシーや管理よりも悪い影響を与えるかも知れない。
ChatGPTのオープンソース化による良い側面は、オープンソース化によって生じる問題を補うことにはならない。
私はプライバシーや管理よりもオープンであることが望ましいと考え、同時に安全性を最優先させるべきだと考えている。このテーマについては、かつて私は以下に引用するようなエッセイを書いた。
「絶対的なプライバシー/コントロール」と「絶対的なオープンさ」のあいだには、膨大な選択肢がある。大規模なAIモデルに最適なアプローチは、そんな選択肢のどこかに見つかるのだろうか。ダウンストリームにおける利用に際しては善意だけで許されるような倫理審査の仕組みを作るのは、とても良いアイデアだ。
…
ファイアウォールは、より良い対策や方法、仕組みが確立されるまでは、ないよりましである。結局、医学界はオープンソースの名の下に致死的なウイルスの化学データを公開しないし、物理学界はオープンソースの名の下に水素爆弾の正確な製造方法を公開しない。
AI技術は強力であり、インターネットのおかげでより強力になっていることを決して忘れてはならないのだが、他の確立された分野に適用されるのと同じルールによって制約されるべきである。今、AIが享受している説明責任のない空間はその発展スピードの副産物であるが異常なものでもあり、決して望ましいものではない。ある人が今持っていると思っている自由は、容易く他の人の苦しみになり得るのだ。
結論
OpenAIが透かしを実装することが最も重要である。その実装はChatGPTの使用を妨げるものではなく、任意の作品にそれが関与していることを明らかにするものである。悪意のある人たち、つまり自分の自由が他人の幸福より上だと信じている人たち以外には、透かしの実装が悪いことだと考えられないだろう。
オープンソースは技術の民主化には欠かせないものだが、常に長所と短所を照らし合わせたうえで、オープンソース化の方が良いと評価しなければならない。今のところ、たとえ民間企業の手に渡ったとしても、ChatGPTの潜在的な害悪は適度に抑えられている。その本質的な欠陥が解決される前に、誰かがオープンソース版をリリースすれば、そうではなくなくなるだろう。
この記事の最後を締めくくるのは、私によってではない。
正直に言うと、私は（オープンソースに慎重な）このスタンスを私の希望からではなく、責任から守っている。オープンソースの動きは止められないし（その動きを止められるのは1、2年だけかも知れない）、今のところはOpenAIにChatGPTを任せてしまった方がいいののでないか、と私は考えている。
いずれオープンソースのAIは、私たちを未知の領域へと導いてくれるだろう。人間とAIの文章を分離する確実な方法を見つけない限り、私たちは書かれた言葉を信頼する能力に別れを告げなければならないかも知れない。そこから、私たちは共有された（あるいはバラバラになった）現実を再定義しなければならないだろう（※訳註13）。
・・・
The Algorithmic Bridgeを購読してください。アルゴリズムと人のあいだのギャップを埋め、あなたの生活に重要なAIについてのニュースレターです。
また、ここの私の紹介リンクを使ってMedium会員になれば、私の仕事を直接サポートし、無制限にアクセスできるようになります！:)
原文
『OpenAI Has the Key To Identify ChatGPT’s Writing』
著者
Alberto Romero
翻訳
吉本幸記（フリーライター、JDLA Deep Learning for GENERAL 2019 #1取得）
編集
おざけん
