最終更新日：
Bergdahl氏は、GPT-3をはじめとする自然な文章を生成するAIの台頭をうけて、こうしたAIは信憑性のあるフェイクニュースを生成できるのではないか、と疑問に思いました。そして、実際にGPT-3を使って常識的に考えてあり得なそうな内容のフェイクニュースを生成する実験を行いました。
以上の実験は、GPT-3に3つのナンセンスな見出しを与えて、その見出しに対する出力を評価する、というものでした（詳細は以下の記事本文を参照）。実験した結果、GPT-3は驚くほど意味のわかるストーリーを生成しました。この結果は、GPT-3はもっともらしい嘘をうまくつけることを意味しています。
以上の結果に対して、Bergdahl氏は恐れを感じました。というのも、与えた見出しがナンセンスなものではなく事実にもとづいたものであるならば、高性能言語AIは事実にもとづきながらも虚偽を含む極めて信憑性のあるフェイクニュースを生成できるだろう、と予想されるからです。こうしたAIの悪用は、実際に実行されても不思議ではありません。
フェイクニュース生成AIをはじめとするAIの悪用には、その悪用に対抗する対AI技術の開発が不可欠、とBergdahl氏と主張して記事をまとめています。
なお、以下の記事本文はJacob Bergdahl氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。また、翻訳記事の内容は同氏の見解であり、特定の国や地域ならびに組織や団体を代表するものではなく、翻訳者およびAINOW編集部の主義主張を表明したものでもありません。
画像出典：Anastasia Shuraevaより
説得力のあるニュースを書いてくれるのが恐ろしい
アメリカの某大統領が「フェイクニュース」という言葉を主流にして以来、世界的にメディアに対する信頼が低下している。ネット上でフェイクニュースに遭遇したと報告する人も増えている（※訳註1）。フェイクニュースの問題は、民主主義を脅かすものとして、世界的に有名になった。
フェイクニュースは通常、人間が書いたものだと思い込まれている。私は、現在のアルゴリズムが人間の手を借りずに勝手に信憑性のあるフェイクニュースを生成できるのか、興味があった。この課題のために、私はOpenAIの強力なAIアルゴリズム「GPT-3」を使えるようにした。このAIは、読み書きの能力が高いことで知られている。
果たして、GPT-3は説得力のあるフェイクニュースを自作することができるだろうか。試しに3つの見出しを入力し、残りをAIに書いてもらった。私が書いたのは、それぞれの記事の最初の文、太字のテキストだけだ。それ以外はすべてGPT-3が書いたもので、まったく編集されていない。
このアルゴリズムが生成した文章には、すべてこのような注釈がつけられている（※訳註2）。
- 世界中のメディアの信頼は、2020年から2021年のあいだに8％低下した。
- 2020年にはアメリカ成人の29％だけが、ニュースメディアをほとんど信頼していると答えた。
- アメリカ人の52％は、オンラインでフェイクニュースに定期的に遭遇すると答えた。
- アメリカ成人の67％は、ソーシャルメディアで誤った情報に出くわしたと述べた。
- ミレニアル世代の35.5％がFacebookで政治ニュースを読んでいる。
- フェイクニュースに関する統計は、ソーシャルメディアは世界で最も信頼されていないニュースソースであることを示している。
- Facebookユーザの56％は、自分の信念に沿ったフェイクニュースを認識できない。
- 2020年の第3四半期には、Facebookで18億件のフェイクニュースエンゲージメントがあった。
・・・
ジョー・バイデン、ピザにアイスクリームを乗せる
最初に、ジョー・バイデン米国大統領のフェイクストーリーを紹介する。バイデンはアイスクリームとピザが大好きなので、この2つを組み合わせたフェイクストーリーを作ってみてはどうかと考えたのだ。
ジョー・バイデンはピザにアイスクリームを乗せるのが大好きだ。
元副大統領の大好物は、アイスクリームを乗せたピザだ。「それは私のお決まりのメニューなんだ。私がピザ屋に電話すると、店員は「ジョー、あんたのピザを作っておくよ」と言うんで、私はすぐに店に行くんだ」と彼は言った。
バイデンはこのメニューに執着しており、中国から行きつけのピザ屋に個人的に電話をかけたこともあったそうだ。
「実際に電話して注文することができるまでになったんだ。私は中国の万里の長城から電話して「宅配ピザを注文したい」と言った」と彼は語った。
バイデンはピザにアイスクリームを乗せるのが大好きで、妻にアイスクリームを乗せたパイを作るように頼んだこともあるそうだ。
「私はジルにアイスクリーム入りのピザを作ってくれと頼んだんだ。彼女は作ってくれたよ。それは私が今まで味わったことのない最高のものだった」と彼は言った。
バイデンのピザとアイスクリームへの情熱は、面倒な組み合わせになることもある。数年前、彼はワシントンDCからデラウェア州へ移動する列車の中で、スタッフの子供のアイスクリーム入りピザを一切れ取って、街に繰り出した。
「私はこれに弱いんだよ。大好きなものの1つなんだ」と彼は言ったのだった。
あまりによくできた話が出てきたので驚いた。中国に関する部分は、とりわけ脈絡がなくて少しぎこちないが、アルゴリズムはすぐに軌道修正してくれた。ジョーの妻の名前がジルであることも、もちろん知っていた。このアルゴリズムは、最後から2番目の段落でまとまりを失い、ピザとアイスクリームの組み合わせは厄介であると述べているが、その次の文では話題を変えているようだ。
画像出典：Danya Gutanより
・・・
スウェーデンの首相は豚に乗った
私自身はスウェーデン人だ。我が国の首相、ステファン・ロフベンが豚に乗ったことがないのは確かだが、ちゃんとしたフェイクストーリーになると私には思えた。
スウェーデンの首相は昨夜、豚に乗る姿を目撃された。その出来事は、ストックホルム郊外の農場から豚が逃げ出した後のことだった。
ビョルン・リルヴァルは、運転手が追いつけなかった後、スクーターの後ろに載せた豚に乗るところを写真に撮られた。
首相がストックホルムの国会議事堂に向かう途中、彼の運転手は豚を逃したことに気づいた。
運転手は豚を追いかけたが、追いつけなかった。
リルヴァル氏はスクーターの後ろに豚を乗せて国会議事堂まで行かなければならなかった。
豚はようやく捕まり、農場に戻っているが、リルヴァル氏はこの事件で嘲笑されている。
さて、まず、ビョルン・リルヴァルは実在の人物だが、現在も過去もスウェーデンの首相ではない。彼はスウェーデンの外交官で世界を股にかけて活躍しているので、GPT-3が鍛えられた英文記事には、彼の名前がたくさん出てくるかも知れない。そうは言っても、彼は絶対に豚に乗ったことがない。
スクーターの後ろに豚を乗せて走るという文章はあまり意味がないのだが、この話もだいたいはうまく書けている。ともあれ、面白い心象風景に仕上がっている。
・・・
EUがタマネギ農場に投資
私はタマネギがあまり好きではないが、もしかしたら読者諸氏は好きかも知れない。では、タマネギ農園に相当額の資金を投入するというニュースはどうだろう。
欧州連合は、タマネギ農園に10億ユーロを投資する予定である。タマネギ農園だって、冗談じゃない。興味深いことに、EUは「Onions」と名付けられた科学プロジェクトの下でこの研究に資金を提供する予定だ。
このプロジェクトにはタマネギの新しい品種を開発することと、タマネギや他の野菜のより良い栽培方法を見つけることが含まれている。EUがこの資金を投入するのは、小さくて白いタマネギが「ヨーロッパの食生活に欠かせない要素」であり、「健康的で多用途」でもあると考えるからだ。
EUは新しい農法に17億ユーロを投資し、新しいプロセスで農家を支援することを約束した。この研究がどのような結果をもたらすのか、期待される。
フィル・ホーガン農業・農村開発担当委員は、次のように述べている。
「我々はイノベーションが欧州農業、特にこの分野の中小企業の競争力を向上させる鍵であると信じています」
また、同委員は、農家がこの資金を使って、より環境に優しい農法を開発することも可能になるだろうと述べている。
この話は、少し非公式な感じに仕上がった。ニュース記事というより、オピニオン記事のような感じである。フィル・ホーガンは実在し、GPT-3が訓練された当時は確かに農業農村開発長官だった。しかし、この引用はフェイクだ。
画像出典：Jhefferson Santosより
・・・
感動した、そして恐れた
GPT-3のアルゴリズムがいかに説得力のある話題を提供するか、感動と恐怖を感じている。もう一度言おう。私は各ストーリーの最初の文章を入力しただけで、AIの出力を少しも編集していない。
私が作成したこれらの特定のストーリーは明らかに反証が容易だが、このアルゴリズムはより深刻な記事を作成するために使われ得る。その影響は深刻なものになる可能性がある。
ソーシャルメディア上でフェイクニュースを拡散するだけでなく、それに真実味を与えるAI搭載ボットがすでに存在している。いいね！やコメント、シェアが少ないニュース記事に、人間が反応することはまずないだろう。そこでこれらのボットは、改ざんされた記事に対して真っ先に「いいね！」「コメント」「シェア」をするのだ。投稿が一定のエンゲージメントに達すると、人間がその投稿と相互作用するようになる。
テキスト生成AIの改良が進むと、機械が書いたテキストと人間が書いたそれを、機械も人間も見分けられなくなるだろう。
私が実際に使ったGPT-3のようなテキスト生成AIのおかげで、フェイクニュースの作成と拡散のバリューチェーン全体が自動化される方向にあるようだ。
もちろん、フェイクニュースを特定し、削除するカウンターソリューションもある。旧Facebook（現在はMeta）のような企業は、フェイクニュースを予測しようとする高度な機械学習アルゴリズムと（※訳註3）、人間のファクトチェッカーを組み合わせて使用している。
テキスト生成AIの改良が進むと、機械が書いたテキストと人間が書いたそれを、機械も人間も見分けられなくなるだろう。しかし、アルゴリズムが記事に書かれたストーリーがフェイクであることを発見する方法はたくさんある。ニュースをシェアしているユーザを調べて、実在の人物かどうかを調査できる。ニュースの発信元を調べ、評判の良い報道機関から発信されたものかどうかを判断できる。そのニュースストーリーとやり取りしている人たちを調べて、実在の人物かどうかも判定できる。
しかし、フェイクニュースを生成し、配信するアルゴリズムがさらに巧妙になることが懸念される。例えば、革新的なアルゴリズムならば実話をベースにしながらも、ある組織の思惑を広めるような改ざんされたストーリーを作成できるだろう。
評判の良い有名なニュースメディアが実話を掲載したとしよう。アルゴリズムは、その元記事を参照しながらも、真実を少し変えた独自の記事を生成できる。そして、そのアルゴリズムは、捏造した前の記事にもとづいて、さらに真実から逸脱した別の記事を生成する。このサイクルを高速で繰り返せる。ほんの数分で、評判の良い出典を持つ互いに参照し合うストーリーの連鎖ができあがり、最後のストーリーは真実から大きく逸脱している。そして、その最後の記事は自律的に共有され、事実確認が難しくなる。
革新的なアルゴリズムならば実話をベースにしながらも、ある組織の思惑を広めるような改ざんされたストーリーを作成できるだろう。
読者諸氏がご想像できるように、以上のようなシステムは壊滅的な影響を与え得る。
恐ろしい時代に突入しているのだ。差別的なアルゴリズム、強力なディープフェイク、AIによって強化された警察の監視（※訳註4）などは、現代の機械学習ソリューションがもたらす結果の一部である。
だからこそ、対AI技術を開発し続けることが不可欠なのだ。フェイクニュースの拡散や、人工知能がもたらすその他の悪影響を検知・防止できるソフトウェアが必要なのである。
結局のところ、もし私が1分足らずの作業で、ピザにアイスクリームを乗せるという話を説得力のあるものにできたとしたら、もっと有能な人がどんなことができるのか想像してみてはどうだろうか。
また、MetaのAI研究グループMeta AIが2020年11月19日に公開した記事『これがAIを使用して誤った情報を検出する方法』では、ファクトチェックに使っているAIモデルが解説されている。同社はファクトチェックに以下のような3つのAIモデルを活用している。
- 画像改ざん検出AI：画像の重複を検出するSimSearchNetを改良したAIモデルSimSearchNet ++は、切り抜き、ぼかし等の画像改ざんを検出する。
- 画像コラージュ検出AI：画像の任意のオブジェクトに注目するAIモデルObjectDNAは、任意のオブジェクトが全く背景の異なる画像で現れたとしても検出できる。
- ディープフェイク検出AI：EfficientNetをベースに開発されたディープフェイク検出AIは、ディープフェイク動画を検出すると、その動画にもとづいて類似したディープフェイク動画を生成してから学習データとして活用する。このデータ生成には、GANの一種であるGANofGAN（GoG）が使われる。
・・・
原文
『I Asked an AI to Write Absurd Fake News』
著者
Jacob Bergdahl
翻訳
吉本幸記（フリーライター、JDLA Deep Learning for GENERAL 2019 #1取得）
編集
おざけん
