美空ひばりがAI×ホログラムによって復活!その各技術を紹介!

最終更新日:

9月29日、NHKスペシャル「AIでよみがえる美空ひばり」にてAI技術などで美空ひばりが再現されます。このプロジェクトにはどのような技術が使われたのか、それぞれの技術について見ていきましょう。

プロジェクト内容

今回のプロジェクトは美空ひばりを複数技術で忠実に再現しようというものです。基本的に以下の2つの技術が使われました。

  • ホログラム
  • ヤマハ:歌声合成技術『VOCALOID:AI』(ボーカロイド:エーアイ)

では、それぞれの技術はどのようにできているのでしょうか。

ホログラム技術とは

ホログラムでイメージしやすいのは、映画スターウォーズ内でよく利用されていたものではないでしょうか?

stack exchange HPより引用

 

映画内では何もないところにホログラムを映し出していますが、それは現存の技術であるのでしょうか?

答えはNOです。何もないところに現出させる実例はほぼありません。現存技術では何かに映し出す必要があるようです。何かに映し出す方法の主流は以下の3つになります。それぞれの方法について見ていきましょう。

  • ARとの併用
  • ペッパーズゴースト
  • 霧スクリーン

AR

最近、特に注目されているホログラム再現方法はAugmented Reality (AR)との併用でしょう。ARで実際の背景にCGで映像を重ねることでホログラムのようなものを作り上げています。

マイクロソフトが今年の7月にYouTubeに載せたデモ映像などは非常に実用的です。ARでホログラムを見るためにはゴーグルやメガネをかける必要があるのでそれが欠点でしょう。

ペッパーズゴースト

ホログラムの代表格なのがペッパーズゴーストです。ガラスなどの光を反射する物質を利用するものです。
初音ミクなどの二次元のキャラクターによるライブはこの技術を利用して再現されています。

DMM THEATER HPより引用

小型化して商品化したものには Gateboxなどがあります。以下の記事も参考にしてください。

霧スクリーン

何もないところに出現させる意味だと霧のスクリーンの方が正しいかもしれません。
以下の画像は噴出した水蒸気や霧をスクリーンとして利用しています。この技術では被投影物が霧のため実際に触れるのが特徴です。

LEIA HPより引用

音声技術とは

美空ひばりと聞いて思いつくのは、その美声でしょう。今回はどのようにそれを再現したのか詳細を確認しましょう。

AI音声技術の仕組み

今回のプロジェクトにはヤマハが進めてきた深層技術(ディープラーニング)を利用した音声合成技術「VOCALOID : AI」が使われました。

美空ひばりの音声データは大量にあるため、ディープラーニング技術には最適です。美空ひばりの音色や歌い回しといった癖をディープラーニングで学習することで、その特徴を持った歌声を機械でも再現可能になります。

音声データを学習する際にデータに混じっている雑音などの余分なものもヤマハが誇る「伴奏音除去技術」で取り除くことができたため、今回のように非常に再現度の高い音声を作ることができたのです。

AINOW編集部作成

AIの音声技術とボーカロイドの違いは?

今回のAI音声技術と既存のボーカロイドの違いは何でしょうか。それは「人間的か機械的か」ということではないでしょうか。

ボーカロイドは電子音の延長上であるため、十分綺麗な音声が作れるものの、エレクトロニックな印象が強いです。

一方、AIによる音声合成は人間の音声がベースになっているので、非常に人間味のあるものが作れるのです。

最後に

今回の美空ひばりのプロジェクトは複数の技術が結集したもので、これからもさらに進化していくものです。

美空ひばりの場合は、大量の音声データがあったため達成できましたが、音声データが少ない歌手でも同じことができるのかは今後の技術力によります。またホログラムの技術力が向上すれば、自宅でも同等のことができる将来も訪れるでしょう。これからの技術力から目が離せません。

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する