deepfakeを家族で楽しむ。あるいはいかにして私の妻をトゥナイト・ショーに出演させたか

著者のSven Charleer氏は、ベルギーの最高学府であるルーヴェン・カトリック大学のコンピュータ・サイエンス部門の研究所に所属しています。この記事では、同氏が動画に写ったヒトの顔を他人の顔と置き換える機械学習アルゴリズム「deepfake」を実際に使った体験が綴られています。

そうした体験談として、同氏の妻の顔とハリウッド女優のアン・ハサフェイの顔を置き換えた顛末が軽妙に語られています。同氏によればdeepfakeは悪用も可能ですが、ビジネスに活用できる可能性も大いにあるので、有益で面白い活用法が提案されています。

【アップデート 2018年2月3日:本投稿の最後にふたつの創作物を追加。最後の作品は本当にうまくいった】

わたしがdeepfakeについて聞いたのは、1週間あまり前のことだ。Twitterに感謝。そして、ありがとう、Tim Soret氏。

deepfakeは、もちろんトンデモないサイバーパンクものだ。しかし、まずは表面的なことを指摘しておくと、掲示板Redditの/r/deepfakes(閲覧注意!閲覧には警戒しなければならない)には、セレブのポルノ動画を作るためにdeepfakeを使ったユーザも見ることができる。

deepfakeはインターネットに混乱を巻き起こしている。メディアはdeepfake動画の合法性について議論し、動画投稿サイトはdeepfake動画を削除※し、しまいにはヒトビトはAIがわれわれを苦しめようとしていることを悟ってパニックに陥っている(新情報:AIが社会を害してしまうことは、deepfake動画ほどあからさまではないが明らかになってきている)。

※現在は閲覧禁止になっている。禁止になった理由は、deepfake動画がセレブの肖像権を侵害している疑いがあるため、とされている。

そうこうしている間にも、ニコラス・ケイジがハリウッドを席巻しているのだ

deepfakeを使って、映画に出演している役者の顔をニコラス・ケイジに置き換えることが流行した。

みんながdeepfakeの是非を議論している一方で、わたしはdeepfakeをより調べなければならないと思った。deepfakeについて、わたしが最初に思いついたことは何か。それは、どうすればわたしが知っているヒトにdeepfakeを使えるか、ということだった(念のため言っておくと、deepfakeを使ってポルノ動画を作るわけではない)。

deepfakeはどのように動作するのか?

deepfakeとは、顔を再構築する方法について学習するディープラーニング・アルゴリズムである。deepfakeに学習データとして顔画像一式を与えると、数時間の学習の後、画像に写っている顔に関するぼんやりとしたコピーを吐き出す。

注意すべきは、deepfakeが顔のコピー画像を生成しているわけではない、ということだ。それは様々な顔の表情から顔が実際にどのように見えるかについて学習し、その学習した顔のみにもとづいて顔画像を出力する。Redditにはdeepfakeに関する解説が掲載されているが、実際にわたしがdeepfakeを使ってみて、分かりやすく説明したい。

deepfakeが実行していることを理解するには、次にように考えるとよい:もしあなたが12時間にわたり誰かを凝視し、そのヒトの表情をくまなく観察して、その表情をあなたの頭に叩き込んだ、と想像してみよう。

その後、誰かがあなたに凝視したヒトの笑顔、泣き顔、そしてあなたが観察したすべての表情についてのスケッチを紙に描いてほしい、と頼んだとしよう。すると、あなたは何をするだろうか。あなたは即座にあなたの記憶を頼りにして、写真のようなクオリティのスケッチを紙に描くのだ(鉛筆を使って)。

そんなの正気の沙汰じゃない!

ヒトを凝視してそのヒトの表情をすべて再現するというだけでもものすごくクールなのだが、このdeepfakeにはさらに先の話がある。上の図の「エンコーダー」パートとは何か。deepfakeはこのエンコーダーを使ってすべての表情を読み込むのだ。

対して上の図のデコーダーは、エンコーダーが学習した顔をもとにして特定の表情の顔を保持する。本当にクールなのは、ここからである。deepfakeにふたつの顔を学習させると、もっと面白いことになるのだ。


さて、deepfakeがどのように動作するのか見ていこう。deepfakeのエンコーダーは顔画像を読み込み、その顔画像をdeepfakeの学習アルゴリズムに与えると、デコーダーはdeepfakeが学習した顔から特定の顔を再び出力する。

上の図の例では、(ハリウッド女優の)アン・ハサフェイの顔と私の妻のエルケの顔がdeepfakeで学習されている。これだけでも、イイ感じだ。しかし、deepfakeのエンコーダーにアン・ハサフェイの顔画像を与えて、エルケの顔を生成するデコーダーを使ってみよう!

こうすると、エルケの新しい顔写真を生成することになる。このエルケの写真は決して実在しないものである。というのも、エルケの顔写真でありながら、アン・ハサフェイの顔写真と同じカメラアングルと同じ表情だからだ。ナンテこった!

家族の楽しみ

あなたのお気に入りのポルノ女優の顔とセレブの顔を置き換えるのは、面白いdeepfakeの使用例であることは言うまでもない。しかし、セレブの顔をほかの目的に使うこともできる。例えば、あなたの友だちや家族の顔をブロックバスター映画やテレビショーに出すのだ!

以上のようなdeepfakeの使用に際して最良の結果を得るには、まず映画やテレビショーに出そうとしているヒトの頭のかたちによく似た俳優/女優を見つけなければならない。

(わたしの妻である)エルケの場合、映画『ダークナイト ライジング』を見ていた時、偶然にもアン・ハサフェイの顔とエルケの顔が似ていることに気づいたのだ。アン・ハサフェイの顔は知っていると思われるので、エルケの顔を以下にお見せする:

かくして私に必要なものは約850枚のエルケの顔写真、1,000枚あまりのアン・ハサフェイの顔写真、そして多くのコンピュータでの作業時間であった。するとどうだ、ジミー・ファロンが司会を務めるザ・トゥナイト・ショーにエルケが出演しているのだ。

『ザ・トゥナイト・ショー』とはアメリカで放送されている長寿トーク番組。1954年から放送開始し、現在はコメディアンのジミー・ファロンが9代目の司会を務める。

ボーナス効果:deepfakeのおかげで、エルケがショートヘアにしたらどうなるかわかるのだ (^○^)

以下がGIF動画にしたちょっとした比較だ。

以上のdeepfake動画を、無邪気ではないかも知れないが、個人的には面白いと思っている。さらにはエルケに対するナイスなサプライズ/ギフトになるとも思っている。いかなる道具も悪用が可能であることを思い出してほしい。

そして、銃が禁止されていない限りは、まずはじめに銃の禁止を考えるべきではないのではなかろうか。

このdeepfakeという技術を使えば、できることはたくさんある。あなたの頭を(ファンタジー小説等で登場するような)妖精に置き換えた画像が付いているEメールを送信するのは、悪いことだろうか。親友を彼が大好きな映画に登場させることだってできる。

ガールフレンドにパトリック・スウェイジとダンスしてもらって人生のひと時を過ごしてもらうこと※もできるし、友だちのお腹からエイリアンが飛び出してくるようなこともできる。こういったことすべてが、deepfakeで可能になるのだ!

※アメリカの映画俳優パトリック・スウェイジが出演している1987年公開の映画『ダーティ・ダンシング』は、映画の1/3がダンスシーンで占められており、そのダンスと劇中歌が高い評価を得た。

単なる楽しみを超えて、deepfakeをビジネスのアイデアを実現するために使い始めることを想像することもできる。

ファッション・ビジネスに応用する可能性は莫大にあるだろう(このヘアスタイル、あるいはこの服では自分はどのように見えるかdeepfakeで確かめる)、フィットネス・ビジネスに応用するのも面白いだろう(もっと筋肉がついたらどのように見えるだろうか、あるいは実際に痩せたらどうなるか)、旅行ビジネスの応用も考えられる(旅行の行先候補のビーチに実際に自分が立った画像を見たら、行先候補としての説得力が増すだろう)。

deepfakeの広告ビジネスへの応用は、このビジネスをまったく新しい次元に向かわせるだろう。deepfakeを使えば、広告対象の(服や化粧品といったものが)いかに生活を「より良く」するか、あなたに想像させるまでもなく見せることができるのだ!こうしたあなた自身が登場する画像を、あなたの頭から追いやるのは難しいだろう。

アップデート:この記事を執筆している間にも、わたしはさらにふたつのdeepfake動画を作成した。エルケはスティーブ・カレルの大ファンなのだが、わたしは不意にアン・ハサフェイ(の顔と入れ替わったエルケ)とスティーブ・カレルが映画『ゲットスマート』で共演させることを思いつき、実現した。最初の試みはうまく行った。

スティーブ・カレルはアメリカのコメディ俳優、脚本家。代表作は2005年公開の『40歳の童貞男』など。

それから、ほかのシーンでもやってみた。(以下がオリジナル動画)

以下のdeepfake動画は、非常にうまく行ったと思っている。

・・・

本記事は、わたしが運営するウェブサイトsven charleerから転載した。



原文
『Family fun with deepfakes. Or how I got my wife onto the Tonight Show』

著者
sven charleer

翻訳
吉本幸記

編集
おざけん



無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する