最終更新日:
今回は、AIきりたんについて紹介します。AIきりたんは、歌声合成技術にAIを用いたAIバーチャルシンガーです。
彼女の歌声は、最新のAI技術を用いることで、人間の歌い方によく似ていると評判です。この記事では、AIきりたんの開発経緯や技術について詳しく紹介します。
▼AIについて詳しく知りたい方はこちら
目次
AI きりたん とは
AIきりたんは、「東北きりたん」というキャラクターに、最新のAI技術を適用してリアルな歌声を与えたものです。
東北きりたん とは
東北きりたんとは、SSS合同会社が開発した東北応援キャラクターのなかの一人です。SSS合同会社は、東北応援キャラクターを東北地方の企業や自治体であれば事前の版権申請なしに使用できる「萌えキャラ」として提供しています。
また東北きりたんは、同社のもっとも有名なキャラクターである「東北ずん子」の妹です。東北名物きりたんぽをモチーフにした外見をしていて、きりたんぽ砲を背負っています。
音声合成ソフトウェア とは
AIきりたんが開発される以前にも、東北きりたんに歌声を与える試みはいくつかありました。代表的な例としては、クリエイター飴屋/菖蒲氏が2008年に公開した「歌声合成ツールUTAU」というフリーウェアが挙げられます。
こちらは、クリエイターhigeoex氏がUTAUを用いて製作した東北きりたん公式デモソングです。
音声合成ソフトウェアで歌詞・音程・音の長さ・歌い方を指定することで、きりたんのボーカル音源が作れます。そのボーカル音源と演奏の音源を合わせることで、1つの曲ができるのです。
AIきりたんの使い方
AIきりたんを実際に自分で使ってみたいという人も多いでしょう。そこで、ここではAIきりたんの使い方と、使う際の注意点をステップごとに紹介します。
それぞれ解説します。
合成ソフトをダウンロード
まず、音声合成ソフトをダウンロードします。きりたんを使える合成ソフトは、NEUTRINOとCeVIO AIです。
ソフトはそれぞれ以下からダウンロードします。macOS用とwindows用のファイルが用意されているのでお使いのPCに合わせて選んでください。
まず、NEUTRINOの使い方を紹介します。
2020年に公開されたNEUTRINOは、クリエイターSHACHI氏が開発した音声合成ソフトです。
楽譜と歌詞を入力することで、自然な歌声がニューラルネットワークによって自動生成されます。つまり、楽譜と歌詞から発声タイミング・音の高さ・声質・声のかすれ具合などをAIが自動で推定するのです。
NEUTRINOでは、東北きりたん以外にも7名の音源を公開しており、それぞれに推奨音域や得意なBPM、ジャンルが指定されています。
これは、音源の作成元のデータベースに由来する特徴です。例えば、バラード音楽が多いデータベースを用いて音源を作成した場合、その音源はバラード風の楽曲作成に向いたものとなります。
東北きりたんの推奨楽曲は次の通りです。
推奨音域 | mid2B~hiD(B3~D5) |
得意なBPM | 120~180 |
得意なジャンル | ポップソング・アイドルソング |
きりたんはNEUTRINOに同梱されています。また、NEUTRINOでダウンロードしたファイルはzipファイルになっているので、適用な場所で解凍しましょう。
次に、CeVIO AIです。
2021年に公開されたCeVIO AIは、名古屋工業大学発のベンチャー企業「テクノスピーチ」が開発した音声合成ソフトです。
CeVIOとは、テクノスピーチが提供するUGC(User Generated Contents、ユーザー生成コンテンツ)を支援するために生まれた、これまでに無いエンターテイメントを創出する新しいプロジェクトです。
CeVIO AIは、このプロジェクトの一環として誕生しました。
「CeVIO AI 東北きりたん ソングボイス」は、CeVIO AI上で動作するソングボイスです。
CeVIOプロジェクトが開発するAI技術をもちいてリアルな歌い方をする音源が作成可能です。また、CeVIO AI ソングエディタは操作性に優れたGUIでスムーズな編集が可能です。
こちらもNEUTRINOと同様にダウンロードするとAIきりたんが利用できるようになり、cv茜屋日海夏さんのCeVIO AI専用ソングボイスも利用できます。
楽譜ファイルを準備
次に、歌わせるための楽譜ファイルを用意します。
また、歌詞ファイルは.musicxml形式が推奨されています。.musicxmlファイルはMuseScoreで作ります。
歌唱データを作成
楽譜ファイルを準備した次は、歌唱データを作成します。
歌唱データの書き方は、以下の記事で説明されています。
調声の注意点
実際に調声する際の注意点を紹介します。
AIを歌わせるとき、「じゃない」などのような母音の「ai」は、普通に入力すると「い」が不自然になってしまいます。
そこで、こちらの記事では以下のような解決策が提示されています。
「Sky(スカーイ)」と歌わせたい場合、(中略)「あ」「え」「い」と連続させるわけです。たしかに、「あ」から「い」に変化する過程で「え」の口を通過しますよね。
同じように、「あ」から「う」へは「お」を通過すると自然になりそうです。
調声するときは以上のことに気をつけると、上手くいくでしょう。
商用利用は可能か
最後に、AIきりたんを使って作った曲を商用利用できるかを紹介します。
株式会社AHSの公式サイトでは、商用利用について以下のように説明されています。
法人が商用目的・業務利用で使用する場合におきましては有償・無償を問わず別途法人契約が必要となります。なお、個人・同人サークルの方でも営利目的で有償配布される場合は必ず事前に当社までお問い合わせ下さい。
個人や同人サークルが弊社のキャラクター、弊社VOICEROID製品を利用して作成した作品や二次創作物を同人イベント等にて作品制作における 実費程度の対価(印刷代・ディスク代・送料・交通費等)を得て有償配布するような場合を指します。この範囲での有償配布は、無償配布と同様の扱いとします。 対価以上の収益が発生し、営利を目的とした配布は商業利用とみなされます。
つまり、個人で同人活動のために利用する場合は特に問題はないようです。自分の予定する利用方法に問題があるかどうか、不安な方は公式サイトで問い合わせてみてもいいでしょう。
AI きりたんの技術
次に、AI きりたんの技術について紹介します。従来の音声合成技術に比べて、AIを用いた音声合成技術はどのような革新を遂げているのでしょうか。
また、音声合成ソフトウェアにAIを用いるとは、具体的にどのような技術を導入しているのでしょうか。
ディープラーニングを用いた音声合成ソフトウェア
AIきりたんの歌唱技術には、ディープラーニングが用いられています。2020年2月に、AIきりたんの音声合成ソフト「NEUTRINO」が公開され、その技術が話題となりました。
NEUTRINOは、明治大学総合数理学部の森勢将雅専任准教授が作成したAIきりたんの歌唱データベースをもとに開発されました。
▼ディープラーニングについて詳しく知りたい方はこちら
AIきりたんの歌唱データベース
森勢将雅氏は、2018年10月-2022年3月の科学技術振興機構 戦略的創造研究推進事業(さきがけ)の研究課題として、「Human-in-the-loop 型歌唱デザインの開発」というテーマを提出しました。
従来の音声合成技術では、歌い方や喋り方の不自然さを解消するためにとても煩雑な調整をしなくてはならず、歌声データの作成に大きな時間と労力が必要でした。
この研究テーマでは、自然な歌声にするためにパラメータを自動調整する基盤を構築することを目指しています。
その研究の一環として「東北きりたん歌唱データベース」は公開されました。このデータベースの中には、東北きりたんがアカペラで歌った歌唱データや歌声合成に必要な音素ラベル等のデータが含まれています。
声優 茜屋日海夏さんによる歌唱データ
東北きりたんのキャラクターボイス(CV)は、声優の茜屋日海夏さんが担当しています。このデータベースに含まれている歌唱データは、茜屋さんが所属するアイドルグループの音楽50曲を東北きりたんの声で歌ったものです。
この歌唱データの音源や、それをもとに作られたMIDIデータや音の特徴のテキストデータをもとにディープラーニングさせると、歌声合成システムを作ることが可能になります。
参照:https://www.dtmstation.com/archives/28823.html
AI きりたんの作品
本節では、AIきりたんを用いて作成した楽曲をいくつか紹介します。これらの曲はすべて、CeVIO AIの公式ホームページ内でサンプル曲として公開されています。
【CeVIO AI 東北きりたん公式デモソング】 わがままマイウェイ!! 【オリジナル曲】
作詞/作曲/編曲/ギター | マサキりたんP |
イラスト | 卯匡P (ずんJOY工房@zunjoy_studio) |
歌 | CeVIO AI 東北きりたん |
【kawaii future disco】おこめディスコ/CeVIO AI 東北きりたん公式デモソング -OSTER project
作詞/作曲 | OSTER project |
イラスト | うつぼ |
動画 | fuwacina |
歌 | CeVIO AI 東北きりたん |
CeVIO AIきりたん 公式デモソング / 迷頭ディストラクション
作詞/作曲 | maya |
動画 | しーな |
歌 | CeVIO AI 東北きりたん |
AI きりたんのこれから
AI きりたんは、多くの作品が制作・投稿されることによって、コンテンツが充実していくことが期待されています。
それ以外にも、AIきりたんが音声合成ソフトの未来に少なからぬ影響を与えることが予想されています。
音声合成ソフトが目指す未来
先に指摘した通り、音声合成ソフトには歌唱データベースに依存する特徴が存在します。例えば、ポップスの楽曲が含まれるデータベースをディープラーニングしてできた音源は、やはりポップス楽曲の作成に向いています。
このように、さまざまなジャンルや音域の曲を作成するには、膨大な歌声データベースが必要です。AIきりたんが話題になることで、他にも歌声データベースを作成しようとする動きが増えてくることが期待されています。
おわりに
今回の記事では、AIきりたんの開発経緯や技術、楽曲について紹介しました。youtubeをはじめとする動画投稿サイトには、AIきりたんで作成したオリジナル曲やカバー曲が多数投稿されています。
その中には、2000年代からブームになったVOCALOIDの楽曲をAIきりたんでカバーしたものや、海外の有名な民謡の日本語訳をAIきりたんに歌わせたりしたものなど、面白い試みがたくさんあります。
読者の皆さんも、ぜひAIきりたんの楽曲を一度聴いてみると良いでしょう。