手塚治虫の新作漫画に挑んだ裏側 ーAIを活用したあらすじ&キャラクター生成

最終更新日:

日本人なら誰もが知っている巨匠 手塚治虫の新作が31年ぶりにAIによって生まれました。

2019年10月に東芝メモリ株式会社から社名変更したキオクシア株式会社のブランドキャンペーン「#世界新記憶」第1弾として、手塚治虫の新作をAI技術で生み出すという、前代未聞のプロジェクト「TEZUKA2020」が始動しました。

そして、手塚治虫の新作「ぱいどん」が講談社の週刊「モーニング」13号(2月27日発売号)に前編が掲載されました。

この記事では、手塚治虫の作品を復活させたAIの開発チームの一人である慶應義塾大学理工学部 栗原聡教授のインタビューを紹介しながら、どのように手塚治虫が復活したのかを深堀りしていきます。

▼YouTubeでもインタビューがご覧いただけます。

手塚治虫の新作「ぱいどん」

提供:「TEZUKA2020」プロジェクト

舞台は2030年の東京・日比谷。

道路には自動運転車、空には無人宅配便、人々の個人情報は管理され、財布も携帯も必要なく、犯罪も事故も激減。

そんな時代に都会のど真ん中でホームレス生活をおくるぱいどん。

ぱいどんは記憶喪失ながら孤独ではなく、小鳥ロボット”アポロ”と人型ロボットの”預言者”が寄り添う。

そんなぱいどんのもとに「失踪した父を探して欲しい」という娘2人からの依頼が。

ぱいどんたちは早速捜索を始めるが。。。

▼TEZUKA2020 オフィシャルムービー

「TEZUKA2020」の概要 ーなぜ手塚治虫AIにチャレンジしたのか

手塚治虫AIの開発チームの一人である慶應義塾大学理工学部の栗原聡教授です。大学を出てからも長年、AI・人工知能技術の研究を行ってきた研究者で、前職の電気通信大学時代には人工知能先端研究センターの立ち上げに関わり、センター長を務めていた人物です。

ディープラーニングがきっかけとなった第3次AIブームと共に栗原教授も機械学習領域の研究開発を行っていますが、最終的には人間と同じような汎用性を持つ知能:汎用人工知能AGI)の研究を行い、群知能やマルチエージェントなどの研究にもあたっています。

ーー TEZUKA 2020プロジェクトの概要を教えてください。

栗原教授:手塚治虫さんが2月9日で没後30年を迎えました。

そこで日本漫画のパイオニアで、今に至る漫画文化を作り上げた手塚治虫さんのDNAを再現し、今のテクノロジーを使って新たな作品を作ろうと始まったのがTEZUKA 2020です。

新しい漫画を生み出すために過去の手塚治虫作品を活かすプロジェクトです。

ーー 栗原教授が手塚治虫AIを手がけたきっかけはなんですか?

栗原教授:アトムができるまでを描いた漫画『アトム ザ・ビギニング』が『月刊ヒーローズ』で2015年1月号から連載を開始した後、松原仁教授(はこだて未来大学)、山川宏さん(旧ドワンゴ人工知能研究所 前所長)、松尾豊教授(東京大学)と私の4人がAI監修として技術的な監修をしていました。そこで手塚プロダクションの方々とのつながりができたんです。

今回はキオクシアさん(旧東芝メモリさん)のプロジェクトで、「記憶があるからこそ次に進める」をコンセプトに故人の何かを今に生かす取り組みを始め、そこに手塚プロダクションが関わることになり、そこでAI活用の話が出た際に、私に話が来たという流れです。

新たな手塚治虫を生み出した2つのAI

「ぱいどん」ではあらすじ(プロット)作りとキャラクター作りの2つのAIが活用されています。

それぞれのAIの仕組みについて詳しく伺いました。

あらすじ作り |13のフェーズで手塚治虫らしさを分析

まずはあらすじ作りにどのようにAIを活用したのかを伺いました。

栗原教授:私たちがしたいのは起承転結を作り、物語として完結させることです。

TEZUKA 2020プロジェクトでは、AIが全てのシナリオを細かく作るわけではありません。100%がAIによるものではなく、ある程度AIを活用しながら、人も作品作りに関わっています。

今の人工知能の技術ですべてができるかというと現実にはまだまだ不可能です。

そこで、私たちが注目したのが「そもそもシナリオが枯渇している」という現状です。

例えば、ソーシャルゲームやTVドラマ、最近はNetflixなども自作するなど、さまざまな作品があります。

世の中にはシナリオライターがいますが、そんなに潤沢に人がいるわけでもないんです。

私たちはプロのシナリオライターさんと一緒に研究している中で、人間が生み出すシナリオのバリエーションがそんなに無いということに気づきました。

プロのシナリオライターといえども,さまざまなバリエーションのシナリオを生み出せるわけではなく,1人の人間が生み出せるものは実はパターンが限られてしまうんです。

シナリオライターさんが生み出すシナリオのバリエーションが少ないという事はどうしても物語の方向性が似通ってしまいがちです。

そこで、栗原教授らがAIを活用したのは「プロット作り」です。

プロット:「話の筋」「構成」「枠組み」のこと。多くの場合はストーリーを考える前にまずプロットが立てられる。 参考:コトバンク

栗原教授:物語の背骨に相当する200文字〜300文字程度のプロットのバリエーションが少ないことに気づきました。

シナリオライターに聞くと、背骨があれば肉付けは比較的容易にできるといいます。そこで、AIを活用して物語の背骨(プロット)を作ろうと考えました。

では、具体的にどのようにプロットが作られたのでしょうか。

栗原教授:物語には、一貫性が無ければいけません。

例えば起承転結などですね。

そこでストーリーに関する文献をいろんな分析をされている方の研究を参考にしました。

この図をご覧いただければと思いますが、例えば物語の展開は「発端」「展開」「結末」の3つに分けられ、さらにその中で「日常」「事件」など13の段階に分けられるということがわかりました。

提供:慶應義塾大学 栗原研究室

栗原教授:映画など、大方の作品はこの13個のパーツで収まっています。

つまり、この流れに基づいていれば、少なくとも一貫性があった話として、腑に落ちるプロット(あらすじ)になる可能性が高いということです。

さらにこの13個をは全部使うわけではなく、作家によっては省略してしまったり、どこかの部分を長めに取るなどの個性が表れます。

そこで、手塚治虫らしいプロットの作り方を学習するべく、手塚治虫の過去の作品のセリフの部分だけでなく、展開的な部分もすべて文章にし、小説のように書き起こしをしました。

さらにそのテキストを13のフェーズに分け、ラベル付けを行いました。

栗原教授:さらに、それだけではなく手塚治虫作品のあらゆるキャラクターの設定などを全部表にまとめてもられるように手塚プロダクションにお願いしました。かなりハードな依頼でしたが、手塚プロダクションの方々は急ピッチで対応してくれました。

これによって手塚治虫という過去の人間が生み出したストーリーの遺伝子を取り出すことができたわけです。

ーー 実際、手塚治虫らしいストーリーの作り方は見えてきましたか?

栗原教授:手塚眞さんからレクチャーを受けたのですが、手塚治虫作品では少年少女の主人公が多く、また何かの能力を持っていることが多いことがわかりました。

また、13のフェーズは、全部を使っているよりも、綺麗に完結せず、最後に問題提起をして終わるパターンが多いことなどもわかりました。

ーー では、13のフェーズの各パーツから、どうやって新たなあらすじを生成していったのでしょうか?

栗原教授:実はそんなに難しいことはしていません。

手塚プロダクションの協力もあり、13のそれぞれの箱にプロットの断片となる部品が集まりました。あとは、その中から部品を取り出し、並べていくのです。

一番簡単な発想は13の箱からランダムにパーツを取り出していく方法です。13の箱の順番が並んでいる以上は、ランダムでも最低限、腑に落ちる話になります。

ただ、腑に落ちるとは言っても、登場人物が途中で死んでいまったにもかかわらず、後で生きているような流れでは矛盾が発生してしまいます。

そこで、最低限の一貫性は保てるように補正を行います。

また、手塚治虫がどんなキャラクター設定をするのかもわかってきたので、手塚治虫の好む属性や能力、性別などで大まかな人物設定もできるようにしました。

実際にできあがったプロットの例 (提供:慶應義塾大学 栗原研究室)

栗原教授:また、プロットを作成する際には概念辞書も活用しました。手塚治虫作品には入っていない単語でも、手塚治虫作品で過去に使われた単語から類推する単語を使い、プロットの部品の数を膨らませています。

ーー 実際に完成したプロットの反応はいかがでしたか?

栗原教授:130くらいのプロット案をだして、手塚プロダクションに確認していただきました。

そうすると、気に入った10数個をすぐにシナリオライターさんが背骨(プロット)を膨らませてディテールを埋めてくださったんです。種があるだけで、それをふくらませるシナリオライターさんの想像力はすごいんです。

「このプロットに対して私は主人公としてはこういう主人公を想像しました。で、この流れだとこういう時代背景で、こんなストーリーがいいと思いました」ということを、漫画を読んであらすじを喋るかの如くお話しされていて、もう作品として完結していたことに驚きました。

ーー ある意味、AIと人間が共同でプロットを作り上げたという表現のほうが正しいのかもしれませんね。

栗原教授:数日でバリエーションが整ったあらすじを何百も生み出してくだすことはプロのシナリオライター絵もなかなか難しいことだと思います。何かしらきっかけを探して、外を歩いたりしますよね。

今回の人工知能がなんで役に立てたかというと、人が発想する種のお膳立てをしたからです。

人間の発想をサポートをするために、プロット生成AIは効果的でした。

私たち人間は完璧ではないですよね。人間がどこで一番力を発揮するかを考えると、ゼロから想像することは難しいわけです。

そんな時、少し背中を押してくれる基盤があれば、人間が本来、得意としている想像をふくらませる能力を引き出してあげることができるかもしれません。

この人間とAIの関係性は今回に限らずいろんな所で活用できると思います。

キャラクター生成|話題のディープフェイクが活躍

続いては、キャラクター生成の仕組みを伺いました。手塚治虫作品はすべて合わせると約700タイトル、ページ数にして約15万枚にものぼるといいます。

AIというとデータが必要とイメージが付いている人も多く、一見するとAIによるキャラクター生成もうまくいきいそうです。

栗原教授:作品数が多いので、AIに使えるデータはたくさんあるだろうと高をくくっていました。

ところが蓋開けてみるともちろん現実はそうはいかないんです。

栗原教授は、キャラクターを生成するために最新のディープラーニング技術を活用しています。今流行りのディープフェイク(敵対的学習:GAN)です。

GANは生成モデルの一種で「ジェネレーター(generator)」と「ディスクリミネーター(discriminator)」の2種類のAIを使って画像などの生成を行います。

作成:AINOW編集部

ジェネレーターは偽物を作ろうとするAIで、ディスクリミネーターは偽物を見破るAIです。ジェネレーターは何度も画像を生成しますが、最初は偽物と見破られてしまいます。

しかし、次第にジェネレーターの学習量が増えていくにしたがって偽物が巧妙になり、最後にはディスクリミネーターは偽物を見破るのが困難になります。

この仕組みによってAIがさまざまな画像を生み出すことができています。例えば以下のアイドルのような顔画像はすべて架空の顔です。

ディープフェイクで生み出される顔の例:データグリッドによるアイドルの顔生成(引用:データグリッド公式サイト

▼ディープフェイクについて詳しくはこちら

ディープフェイクを活用したキャラクター生成にチャレンジした栗原教授らですが、しかし、最初はうまくいかなかったと栗原教授は当初のキャラクター生成AIについて振り返ります。

栗原教授:Webで話題になるディープフェイクの画像は何十万人分もの人の顔画像を使って人の顔がどんなものかを学習をさせています。

今回、私たちがしたいことは手塚治虫的なキャラクターを作ることです。そこで、手塚治虫のキャラクターをデータ化することで新たなキャラクターを生成できるかを検討しました。

しかし、ディープフェイクでよく使われている顔画像を見ていただくとわかるのですが、だいたいが綺麗で真正面の顔画像が使われています。

位置関係も大体一致していて、綺麗な顔を切り取った画像をデータとして使っているんです。

ところが、私たちが使うのは漫画なんです。

漫画っていうのは、そもそも角度などがコマによって違いますよね?

1パージ内でも登場人物がもう動き回るわけです。綺麗に真正面から描いてるキャラはほとんどありません。

とりあえず、キャラクター画像を生み出してみると?

ただ「やってみないわけにはいかない」ということで、栗原教授は、実際に手塚治虫作品の画像データを使い、キャラクター生成にチャレンジしました。その結果は…

栗原教授:しかし、まずはデータを集めなければいけないということで、手塚プロダクションから過去の手塚治虫作品をスキャンしたデータをいただいて、そこから顔画像だけを切り取る作業を行いました。

実際に顔画像だけど切り取っても真正面を向いた画像はありませんでした。なので、とりあえず、角度が違う写真でも顔だと思えるものは全部とにかく学習させてみようと挑戦してみました。

バラバラの顔画像を用いて生成したキャラクターの顔画像(提供:慶應義塾大学 栗原研究室)

栗原教授:顔になってないんです。髪の毛の場所や耳や目の形は要素的にかろうじて見えるくらいです。

なので、データをしっかり選別して学習させました。きれいな角度データだけを集めて、さらにデータを増やす工夫を加えたんです。

それで学習を行うとこのようになりました。

データを選別、水増しをして生成したキャラクターの顔画像(提供:慶應義塾大学 栗原研究室)

栗原教授:多少は、顔にはなってきます。ただ手塚治虫さんだけの系統の顔データを使うと綺麗な顔画像が作れないという限界がわかってきました。

手塚治虫作品の顔データだけから新しいキャラクターを生成するのは無理だろうという結論になりました。

しかし、顔は崩れているとしても、手塚治虫作品らしさは出ていると、手塚プロダクションに認めていただけました。

ということは、手塚治虫風の特徴が見え隠れしているデータがあれば、それをたたき台にする別のアプローチを取ることにしたんです。それが「転移学習」です。

転移学習:ある領域のデータで学習したモデル(AI)を別の領域でも活用することで、効率的に学習できるようにする手法

栗原教授:世の中的には数十万枚の顔画像を使って本物そっくりの顔画像を生み出すことができています。それを土台にしつつ、手塚治虫キャラクターの特徴を学習させれば、安定した顔画像ができるんじゃないかと予想しました。

この方法を採用する過程には、今回のAIチームメンバーのキオクシア株式会社の国松さんと中島さんとの議論がとても有意義でした。

チームとして開発することの重要性を再認識したところでもあります。

一般的なディープフェイク画像に加えて手塚治虫作品の特徴を付け足して生み出された画像(提供:慶應義塾大学 栗原研究室)

試行錯誤の末、最終的に生まれたキャラクターの画像がこちらです。手塚治虫作品のキャラクターの特徴が感じられるだけでなく、顔としても成り立っていることがわかります。ここからイラストレーターが色付けなどをすることで、正式にキャラクターとして洗練されていきます。

©2020 NVIDIA Corporation

プロットとキャラクター生成を終えて

プロットとキャラクター生成にAI活用をすすめる中で、栗原教授は、人間とAIの協働の可能性を感じたといいます。

ーー 実際に手塚治虫作品をAIで再現してみて、どのように感じていますか?

栗原教授:キャラクターを生み出す過程において、実は「選択する」とことにに想像力が発揮されていたんです。

ゼロからキャラクター作るのは大変なんですが、手塚治虫作品らしさが含まれた膨大な顔画像があってそこの中から選ぶ作業も意外に難しいですよね。
今回の取り組みでは、プロットが決められて、このプロットから想像する中で、キャラクターも選ばなければいけません。

ゼロから生み出すのではなく、完成品がいっぱいある中から自分の気づかなかった好みを発見し、さらなる想像力を発揮したり、複数の画像を組み合わせてみたり,まさに想像力を発揮しつつ選択していくという,人間のすごさを改めて実感できました。

さらに人のすごいところは、AIが生成したぱいどんの顔画像からインスピレーションを受け、さらに一工夫(義眼のギミック)入れこむ辺りにも明確に見ることができると思います。

さいごに

AINOW編集長 おざけん
2019年末に放送された「紅白歌合戦」で注目を集めた「AI美空ひばり」をはじめ、故人の作品の趣向を分析し、AIで新たな作品を生み出す取り組みが盛んになっているように思います。

しかし、その裏では、途方もない人間の努力とツールとしてのAIが親和性を生み、多くの感動を呼んでいます。

「AI」という冠が付くだけで、全てがAIによって生成されていると思ってしまいがちですが、あくまでもAIは人間のツールとして効果を発揮しています。

AIを活用して生み出された手塚治虫の新作が、どこまで“手塚治虫らしさ”を帯びているのか。ぜひ書店などで週刊「モーニング」13号(2月27日発売号)を手にとって確かめていただければと思います。

2020年3月6日 2020年3月9日更新

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する