HOME/ AINOW編集部 /rinna、13億パラメータをもつGPT言語モデルを公開、高度な日本語文章が生成可能
2022.01.26

rinna、13億パラメータをもつGPT言語モデルを公開、高度な日本語文章が生成可能

rinna株式会社は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。

rinna社は2021年4月、日本語に特化した中規模サイズのGPT-2(GPT3-medium)の日本語モデルを公開しました。そして同年8月25日、GPT-2(GPT2-small、GPT2-xsmall)の2つのモデルと、BERTを改良したRoBERTを公開しました。これらのモデルはGitHubやHuggingFaceなどに公開されています。

そして今回、これまでに公開してきたモデルより大規模な13億パラメータを持つ日本語に特化したGPT言語モデルを開発し、日本語のNLPコミュニティに貢献するために、この言語モデルをNLPモデルライブラリ Hugging Face に商用利用可能なMITライセンスで公開しました。

今回、rinna社が公開した日本語GPTは、一般的な日本語テキストの特徴を持つ高度な日本語文章を自動生成できます。例えばGPTに入力するテキスト(テキストプロンプト)を工夫することで以下のような文章生成、分類、翻訳などの出力を得ることができます(出力は確率に基づき毎回異なるテキストが生成されます)。

GPTの入力:宮本武蔵は、

GPTの出力:生涯人生を修行に費やし心を鍛え精進した人でした。そして宮本武蔵の弟子たちの記録も数多く残されています。

GPTの入力:最悪だよはネガティヴ。いいねはポジティブ。素晴らしいはポジティブ。良くはないは

GPTの出力:ネガティブ。

 GPTの入力:Helloは、こんにちはという意味です。Good morningは、おはようという意味です。Thank youは、

GPTの出力:ありがとうという意味です。感謝の気持ちを表す簡単なフレーズになります。

rinna社の日本語GPTモデルの特徴
  • 学習データとして、日本語のC4、CC-100 、Wikipediaのオープンソースデータを使用
  • モデルは十分に学習されており、その性能は約14 perplexityを達成(14 perplexityとは、GPTが次の単語を予測するときに、単語候補の数を14に絞れる性能)
  • 利用者が簡単にアクセスできるように、開発したモデルを Hugging Face に商用利用可能なMITライセンスで公開
  • 利用者の目的に沿った多様なタスク(ドメインに特化した文章生成、分類、翻訳など)を、テキストプロンプトやファインチューニングにより実現可能

rinna社は今後、AIに関する研究を続け、高性能な製品を開発していくとしています。また、研究・開発コミュニティに貢献するために、研究成果を公開していく予定でさらに、他社との協業も進める予定です。

あなたにおすすめの記事

MCPとは?AIと業務ツールをつなぐ仕組みとAPIとの違いをわかりやすく解説

無料で使えるAIエージェントおすすめ10選!無料枠の上限と業務で試すときの注意点

AIコーディングエージェントとは?主要10ツール比較と無料で始める選び方

AIエージェントの仕組みとは?4つの構成要素と動く流れをわかりやすく解説

AIエージェントおすすめ17選!料金・無料枠・セキュリティを種類別に比較

AIエージェントの種類一覧!5つの分類軸と代表サービス・選び方を解説

AIエージェントを自作する方法7選!無料で始める手順と費用の目安

AIエージェントの作り方を初心者向けに解説!Geminiで無料作成する5ステップ

AIエージェントを自作する3つの方法!初心者でも無料から始められる手順

AIエージェント構築の手順7ステップ!基盤の選び方と本番運用のコツ

あなたにおすすめの記事

MCPとは?AIと業務ツールをつなぐ仕組みとAPIとの違いをわかりやすく解説

無料で使えるAIエージェントおすすめ10選!無料枠の上限と業務で試すときの注意点

AIコーディングエージェントとは?主要10ツール比較と無料で始める選び方

AIエージェントの仕組みとは?4つの構成要素と動く流れをわかりやすく解説

AIエージェントおすすめ17選!料金・無料枠・セキュリティを種類別に比較

AIエージェントの種類一覧!5つの分類軸と代表サービス・選び方を解説

AIエージェントを自作する方法7選!無料で始める手順と費用の目安

AIエージェントの作り方を初心者向けに解説!Geminiで無料作成する5ステップ

AIエージェントを自作する3つの方法!初心者でも無料から始められる手順

AIエージェント構築の手順7ステップ!基盤の選び方と本番運用のコツ