HOME/ AINOW編集部 /AIきりたんとは|ディープラーニングを用いた合成音声ソフトを紹介!
2021.11.19

AIきりたんとは|ディープラーニングを用いた合成音声ソフトを紹介!

今回は、AIきりたんについて紹介します。AIきりたんは、歌声合成技術にAIを用いたAIバーチャルシンガーです。

彼女の歌声は、最新のAI技術を用いることで、人間の歌い方によく似ていると評判です。この記事では、AIきりたんの開発経緯や技術について詳しく紹介します。

▼AIについて詳しく知りたい方はこちら

AI きりたん とは

AIきりたんは、「東北きりたん」というキャラクターに、最新のAI技術を適用してリアルな歌声を与えたものです。

東北きりたん とは

東北きりたんとは、SSS合同会社が開発した東北応援キャラクターのなかの一人です。SSS合同会社は、東北応援キャラクターを東北地方の企業や自治体であれば事前の版権申請なしに使用できる「萌えキャラ」として提供しています。

また東北きりたんは、同社のもっとも有名なキャラクターである「東北ずん子」の妹です。東北名物きりたんぽをモチーフにした外見をしていて、きりたんぽ砲を背負っています。

音声合成ソフトウェア とは

AIきりたんが開発される以前にも、東北きりたんに歌声を与える試みはいくつかありました。代表的な例としては、クリエイター飴屋/菖蒲氏が2008年に公開した「歌声合成ツールUTAU」というフリーウェアが挙げられます。

こちらは、クリエイターhigeoex氏がUTAUを用いて製作した東北きりたん公式デモソングです。

音声合成ソフトウェアで歌詞・音程・音の長さ・歌い方を指定することで、きりたんのボーカル音源が作れます。そのボーカル音源と演奏の音源を合わせることで、1つの曲ができるのです。

AI きりたんの技術

次に、AI きりたんの技術について紹介します。従来の音声合成技術に比べて、AIを用いた音声合成技術はどのような革新を遂げているのでしょうか。

また、音声合成ソフトウェアにAIを用いるとは、具体的にどのような技術を導入しているのでしょうか。

ディープラーニングを用いた音声合成ソフトウェア

AIきりたんの歌唱技術には、ディープラーニングが用いられています。2020年2月に、AIきりたんの音声合成ソフト「NEUTRINO」が公開され、その技術が話題となりました。

NEUTRINOは、明治大学総合数理学部の森勢将雅専任准教授が作成したAIきりたんの歌唱データベースをもとに開発されました。

▼ディープラーニングについて詳しく知りたい方はこちら

AIきりたんの歌唱データベース

森勢将雅氏は、2018年10月-2022年3月の科学技術振興機構 戦略的創造研究推進事業(さきがけ)の研究課題として、「Human-in-the-loop 型歌唱デザインの開発」というテーマを提出しました。

従来の音声合成技術では、歌い方や喋り方の不自然さを解消するためにとても煩雑な調整をしなくてはならず、歌声データの作成に大きな時間と労力が必要でした。

この研究テーマでは、自然な歌声にするためにパラメータを自動調整する基盤を構築することを目指しています。

その研究の一環として「東北きりたん歌唱データベース」は公開されました。このデータベースの中には、東北きりたんがアカペラで歌った歌唱データや歌声合成に必要な音素ラベル等のデータが含まれています。

声優 茜屋日海夏さんによる歌唱データ

東北きりたんのキャラクターボイス(CV)は、声優の茜屋日海夏さんが担当しています。このデータベースに含まれている歌唱データは、茜屋さんが所属するアイドルグループの音楽50曲を東北きりたんの声で歌ったものです。

この歌唱データの音源や、それをもとに作られたMIDIデータや音の特徴のテキストデータをもとにディープラーニングさせると、歌声合成システムを作ることが可能になります。

参照:https://www.dtmstation.com/archives/28823.html

AI きりたんの歌声合成ソフト

続いて、AIきりたんの歌声合成ソフトの紹介に移ります。先ほど紹介した「東北きりたん歌唱データベース」をもとに、現在2つの歌声合成ソフトが公開されています。

NEUTRINO

2020年に公開されたNEUTRINOは、クリエイターSHACHI氏が開発した音声合成ソフトです。

楽譜と歌詞を入力することで、自然な歌声がニューラルネットワークによって自動生成されます。つまり、楽譜と歌詞から発声タイミング・音の高さ・声質・声のかすれ具合などをAIが自動で推定するのです。

NEUTRINOでは、東北きりたん以外にも7名の音源を公開しており、それぞれに推奨音域や得意なBPM、ジャンルが指定されています。

これは、音源の作成元のデータベースに由来する特徴です。例えば、バラード音楽が多いデータベースを用いて音源を作成した場合、その音源はバラード風の楽曲作成に向いたものとなります。

東北きりたんの推奨楽曲は次の通りです。

推奨音域 mid2B~hiD(B3~D5)
得意なBPM 120~180
得意なジャンル ポップソング・アイドルソング

CeVIO AI

2021年に公開されたCeVIO AIは、名古屋工業大学発のベンチャー企業「テクノスピーチ」が開発した音声合成ソフトです。

CeVIOとは、テクノスピーチが提供するUGC(User Generated Contents、ユーザー生成コンテンツ)を支援するために生まれた、これまでに無いエンターテイメントを創出する新しいプロジェクトです。

CeVIO AIは、このプロジェクトの一環として誕生しました。

「CeVIO AI 東北きりたん ソングボイス」は、CeVIO AI上で動作するソングボイスです。

CeVIOプロジェクトが開発するAI技術をもちいてリアルな歌い方をする音源が作成可能です。また、CeVIO AI ソングエディタは操作性に優れたGUIでスムーズな編集が可能です。

AIきりたんの作品

本節では、AIきりたんを用いて作成した楽曲をいくつか紹介します。これらの曲はすべて、CeVIO AIの公式ホームページ内でサンプル曲として公開されています。

【CeVIO AI 東北きりたん公式デモソング】 わがままマイウェイ!! 【オリジナル曲】

作詞/作曲/編曲/ギター マサキりたんP
イラスト 卯匡P (ずんJOY工房@zunjoy_studio)
CeVIO AI 東北きりたん

【kawaii future disco】おこめディスコ/CeVIO AI 東北きりたん公式デモソング -OSTER project

作詞/作曲 OSTER project
イラスト うつぼ
動画 fuwacina
CeVIO AI 東北きりたん

CeVIO AIきりたん 公式デモソング / 迷頭ディストラクション

作詞/作曲 maya
動画 しーな
CeVIO AI 東北きりたん

AI きりたんのこれから

AI きりたんは、多くの作品が制作・投稿されることによって、コンテンツが充実していくことが期待されています。

それ以外にも、AIきりたんが音声合成ソフトの未来に少なからぬ影響を与えることが予想されています。

音声合成ソフトが目指す未来

先に指摘した通り、音声合成ソフトには歌唱データベースに依存する特徴が存在します。例えば、ポップスの楽曲が含まれるデータベースをディープラーニングしてできた音源は、やはりポップス楽曲の作成に向いています。

このように、さまざまなジャンルや音域の曲を作成するには、膨大な歌声データベースが必要です。AIきりたんが話題になることで、他にも歌声データベースを作成しようとする動きが増えてくることが期待されています。

おわりに

今回の記事では、AIきりたんの開発経緯や技術、楽曲について紹介しました。youtubeをはじめとする動画投稿サイトには、AIきりたんで作成したオリジナル曲やカバー曲が多数投稿されています。

その中には、2000年代からブームになったVOCALOIDの楽曲をAIきりたんでカバーしたものや、海外の有名な民謡の日本語訳をAIきりたんに歌わせたりしたものなど、面白い試みがたくさんあります。

読者の皆さんも、ぜひAIきりたんの楽曲を一度聴いてみると良いでしょう。

▶関連記事|精度は人間超え!『AI音声認識】の活用事例>>

▶関連記事|ゲームAIとは? ゲームAIの種類や歴史について解説 >>

▶関連記事|ビートルズ再現も近い!?「AI × 生成」の技術論文3選!>>

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する

あなたにおすすめの記事

圧倒的低レイテンシの実現|エッジAI分野を切り開くEdgeCortix

AIでオリジナル曲を無限に生成する楽曲作成サービス「FIMMIGRM™」をリリース

CS業務に特化したAIチャットボットの秘密とは|カラクリ株式会社

AIと共存した未来の家族を描く最新作『アフター・ヤン』10月21日(金)より日本公開決定!

AIエンジニアに将来性はある?やめとけと言われる5つの理由と向いている人を解説

あなたにおすすめの記事

圧倒的低レイテンシの実現|エッジAI分野を切り開くEdgeCortix

AIでオリジナル曲を無限に生成する楽曲作成サービス「FIMMIGRM™」をリリース

CS業務に特化したAIチャットボットの秘密とは|カラクリ株式会社

AIと共存した未来の家族を描く最新作『アフター・ヤン』10月21日(金)より日本公開決定!

AIエンジニアに将来性はある?やめとけと言われる5つの理由と向いている人を解説