HOME/ AINOW編集部 /rinna、13億パラメータをもつGPT言語モデルを公開、高度な日本語文章が生成可能
2022.01.26

rinna、13億パラメータをもつGPT言語モデルを公開、高度な日本語文章が生成可能

rinna株式会社は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。

rinna社は2021年4月、日本語に特化した中規模サイズのGPT-2(GPT3-medium)の日本語モデルを公開しました。そして同年8月25日、GPT-2(GPT2-small、GPT2-xsmall)の2つのモデルと、BERTを改良したRoBERTを公開しました。これらのモデルはGitHubやHuggingFaceなどに公開されています。

そして今回、これまでに公開してきたモデルより大規模な13億パラメータを持つ日本語に特化したGPT言語モデルを開発し、日本語のNLPコミュニティに貢献するために、この言語モデルをNLPモデルライブラリ Hugging Face に商用利用可能なMITライセンスで公開しました。

今回、rinna社が公開した日本語GPTは、一般的な日本語テキストの特徴を持つ高度な日本語文章を自動生成できます。例えばGPTに入力するテキスト(テキストプロンプト)を工夫することで以下のような文章生成、分類、翻訳などの出力を得ることができます(出力は確率に基づき毎回異なるテキストが生成されます)。

GPTの入力:宮本武蔵は、

GPTの出力:生涯人生を修行に費やし心を鍛え精進した人でした。そして宮本武蔵の弟子たちの記録も数多く残されています。

GPTの入力:最悪だよはネガティヴ。いいねはポジティブ。素晴らしいはポジティブ。良くはないは

GPTの出力:ネガティブ。

 GPTの入力:Helloは、こんにちはという意味です。Good morningは、おはようという意味です。Thank youは、

GPTの出力:ありがとうという意味です。感謝の気持ちを表す簡単なフレーズになります。

rinna社の日本語GPTモデルの特徴
  • 学習データとして、日本語のC4CC-100 、Wikipediaのオープンソースデータを使用
  • モデルは十分に学習されており、その性能は約14 perplexityを達成(14 perplexityとは、GPTが次の単語を予測するときに、単語候補の数を14に絞れる性能)
  • 利用者が簡単にアクセスできるように、開発したモデルを Hugging Face に商用利用可能なMITライセンスで公開
  • 利用者の目的に沿った多様なタスク(ドメインに特化した文章生成、分類、翻訳など)を、テキストプロンプトやファインチューニングにより実現可能

rinna社は今後、AIに関する研究を続け、高性能な製品を開発していくとしています。また、研究・開発コミュニティに貢献するために、研究成果を公開していく予定でさらに、他社との協業も進める予定です。

あなたにおすすめの記事

AIエージェントの採用活用 自動化できる業務とおすすめツール10選

AIエージェント会社おすすめ16選をタイプ別比較!選び方と費用相場も解説

AIエージェントの活用方法!業務別シーン10選と定着させる進め方を解説

AIエージェントで削減できるコストと工数の目安を試算方法つきで解説

AIエージェントで人員は減るのか 再配置の実態と削減効果の試算手順

AIエージェントで転職活動を進める6ステップ!プロンプト例と注意点も解説

AIエージェントで仕事はどう変わる?任せられる仕事と人に残る仕事

AIエージェント担当者が担う6つの役割!必要スキルと90日の進め方

AIエージェントのIT部門活用8選!情シス必見の導入手順と費用相場

生成AIチャットボット比較の7軸!失敗しない選び方を徹底解説

あなたにおすすめの記事

AIエージェントの採用活用 自動化できる業務とおすすめツール10選

AIエージェント会社おすすめ16選をタイプ別比較!選び方と費用相場も解説

AIエージェントの活用方法!業務別シーン10選と定着させる進め方を解説

AIエージェントで削減できるコストと工数の目安を試算方法つきで解説

AIエージェントで人員は減るのか 再配置の実態と削減効果の試算手順

AIエージェントで転職活動を進める6ステップ!プロンプト例と注意点も解説

AIエージェントで仕事はどう変わる?任せられる仕事と人に残る仕事

AIエージェント担当者が担う6つの役割!必要スキルと90日の進め方

AIエージェントのIT部門活用8選!情シス必見の導入手順と費用相場

生成AIチャットボット比較の7軸!失敗しない選び方を徹底解説