HOME/ AINOW編集部 /メタバース時代のアバターを活用~バーチャル演奏技術映像 「AI Fusion」を公開~|グリー株式会社
2022.10.19

メタバース時代のアバターを活用~バーチャル演奏技術映像 「AI Fusion」を公開~|グリー株式会社

最終更新日:

出典:GREE VR Studio Laboratory

REALITY株式会社の研究開発部門「GREE VR Studio Laboratory」は、メタバース時代の先端研究開発成果であるバーチャル演奏技術「AI Fusion」の映像を公開しました。

 

近年、メタバースのサービスにおいて、3D空間でのアバターの表現力向上が期待されています。多くの人々が集まるメタバースでのアバター技術は、個々のユーザーによる表現力とリアルタイムのモーション生成技術の融合であり、その技術向上はクリエイターエコノミーとしての価値や可能性を拡げるものになります。今回公開した映像は、REALITYが提供するスマートフォン向けメタバース「REALITY」において、アバターとスマートフォンからの顔認識に、表現力高く汎用的な音楽演奏表現を実現する「AI Fusion技術」を融合させることで実現したミュージックビデオ風のデモ映像です。

研究内容

実験用に書き起こしたオリジナル楽曲「ツユハナビ」にあわせてピアノ、エレキギター、エレキベース、ドラムの4種類の楽器の正しい演奏を行う腕や指の動作を生成。

さらに、今回発表したアバター操作アシストAI技術「AI Fusion」を用いて全身のモーションや表情を動的に融合させ、リアルタイム映像で自然で高度な演奏パフォーマンスを自由に行うことを可能にしています。また、歌唱の表情はスマートフォン向けメタバース「REALITY」と共通のアルゴリズムで収録し、全身動作はVFX映画の製作などに使われる株式会社クレッセントにて収録されています。

 

▼技術部分の解説を下記動画で公開しています。

https://youtu.be/qzcH6BDHT9U

今後の展望

今回開発した技術を使用して、将来的にはスマートフォンのみで、自由な空間で歌唱や高度な演奏を他のユーザーと同時に全身動作で表現できる可能性があります。サイバー万博のようなオンラインイベントが当たり前になる時代では、現在のカラオケにあたるような「誰でも、楽しく、自己表現ができる」体験は、アバターとメタバースで活躍するクリエイターエコノミー創出の時代であり、その基盤技術となることが期待できます。

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する

あなたにおすすめの記事

基調講演だけではない。OpenAI、Microsoft、Metaもビジョンを語ったGTC2024セッションまとめ

ChatGPTもGeminiも忘れて、これらの(信じられない)次世代AIツールをチェックしてみよう!

「Yahoo!知恵袋」でも活用、LINEヤフーの生成AI活用戦略

あなたにおすすめの記事

基調講演だけではない。OpenAI、Microsoft、Metaもビジョンを語ったGTC2024セッションまとめ

ChatGPTもGeminiも忘れて、これらの(信じられない)次世代AIツールをチェックしてみよう!

「Yahoo!知恵袋」でも活用、LINEヤフーの生成AI活用戦略