HOME/ AINOW編集部 /rinna、13億パラメータをもつGPT言語モデルを公開、高度な日本語文章が生成可能
2022.01.26

rinna、13億パラメータをもつGPT言語モデルを公開、高度な日本語文章が生成可能

最終更新日:

rinna株式会社は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。

rinna社は2021年4月、日本語に特化した中規模サイズのGPT-2(GPT3-medium)の日本語モデルを公開しました。そして同年8月25日、GPT-2(GPT2-small、GPT2-xsmall)の2つのモデルと、BERTを改良したRoBERTを公開しました。これらのモデルはGitHubやHuggingFaceなどに公開されています。

そして今回、これまでに公開してきたモデルより大規模な13億パラメータを持つ日本語に特化したGPT言語モデルを開発し、日本語のNLPコミュニティに貢献するために、この言語モデルをNLPモデルライブラリ Hugging Face に商用利用可能なMITライセンスで公開しました。

今回、rinna社が公開した日本語GPTは、一般的な日本語テキストの特徴を持つ高度な日本語文章を自動生成できます。例えばGPTに入力するテキスト(テキストプロンプト)を工夫することで以下のような文章生成、分類、翻訳などの出力を得ることができます(出力は確率に基づき毎回異なるテキストが生成されます)。

GPTの入力:宮本武蔵は、

GPTの出力:生涯人生を修行に費やし心を鍛え精進した人でした。そして宮本武蔵の弟子たちの記録も数多く残されています。

GPTの入力:最悪だよはネガティヴ。いいねはポジティブ。素晴らしいはポジティブ。良くはないは

GPTの出力:ネガティブ。

 GPTの入力:Helloは、こんにちはという意味です。Good morningは、おはようという意味です。Thank youは、

GPTの出力:ありがとうという意味です。感謝の気持ちを表す簡単なフレーズになります。

rinna社の日本語GPTモデルの特徴
  • 学習データとして、日本語のC4CC-100 、Wikipediaのオープンソースデータを使用
  • モデルは十分に学習されており、その性能は約14 perplexityを達成(14 perplexityとは、GPTが次の単語を予測するときに、単語候補の数を14に絞れる性能)
  • 利用者が簡単にアクセスできるように、開発したモデルを Hugging Face に商用利用可能なMITライセンスで公開
  • 利用者の目的に沿った多様なタスク(ドメインに特化した文章生成、分類、翻訳など)を、テキストプロンプトやファインチューニングにより実現可能

rinna社は今後、AIに関する研究を続け、高性能な製品を開発していくとしています。また、研究・開発コミュニティに貢献するために、研究成果を公開していく予定でさらに、他社との協業も進める予定です。

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する

あなたにおすすめの記事

株式会社ルビス、文章からスライド資料が作成できるWEBツール「イルシル」の製品版の提供を開始

300社以上のDX供走でゆたかな世界を実装|株式会社ABEJA

ゲームAIの最先端を独占取材!|スクウェア・エニックスのAIに迫る

世界最大容量の伝送を実現する光伝送技術を開発|富士通株式会社に迫る

Dall-E2のAIの出力を一貫させる方法 – プロからのアドバイス。

あなたにおすすめの記事

株式会社ルビス、文章からスライド資料が作成できるWEBツール「イルシル」の製品版の提供を開始

300社以上のDX供走でゆたかな世界を実装|株式会社ABEJA

ゲームAIの最先端を独占取材!|スクウェア・エニックスのAIに迫る

世界最大容量の伝送を実現する光伝送技術を開発|富士通株式会社に迫る

Dall-E2のAIの出力を一貫させる方法 – プロからのアドバイス。