出典：GREE VR Studio Laboratory
REALITY株式会社の研究開発部門「GREE VR Studio Laboratory」は、メタバース時代の先端研究開発成果であるバーチャル演奏技術「AI Fusion」の映像を公開しました。
近年、メタバースのサービスにおいて、3D空間でのアバターの表現力向上が期待されています。多くの人々が集まるメタバースでのアバター技術は、個々のユーザーによる表現力とリアルタイムのモーション生成技術の融合であり、その技術向上はクリエイターエコノミーとしての価値や可能性を拡げるものになります。今回公開した映像は、REALITYが提供するスマートフォン向けメタバース「REALITY」において、アバターとスマートフォンからの顔認識に、表現力高く汎用的な音楽演奏表現を実現する「AI Fusion技術」を融合させることで実現したミュージックビデオ風のデモ映像です。
研究内容
実験用に書き起こしたオリジナル楽曲「ツユハナビ」にあわせてピアノ、エレキギター、エレキベース、ドラムの4種類の楽器の正しい演奏を行う腕や指の動作を生成。
さらに、今回発表したアバター操作アシストAI技術「AI Fusion」を用いて全身のモーションや表情を動的に融合させ、リアルタイム映像で自然で高度な演奏パフォーマンスを自由に行うことを可能にしています。また、歌唱の表情はスマートフォン向けメタバース「REALITY」と共通のアルゴリズムで収録し、全身動作はVFX映画の製作などに使われる株式会社クレッセントにて収録されています。
▼技術部分の解説を下記動画で公開しています。
今後の展望
今回開発した技術を使用して、将来的にはスマートフォンのみで、自由な空間で歌唱や高度な演奏を他のユーザーと同時に全身動作で表現できる可能性があります。サイバー万博のようなオンラインイベントが当たり前になる時代では、現在のカラオケにあたるような「誰でも、楽しく、自己表現ができる」体験は、アバターとメタバースで活躍するクリエイターエコノミー創出の時代であり、その基盤技術となることが期待できます。
