生成AIのサービス実装プロセス｜業界リーダーのケーススタディ

最終更新日： 2024年4月8日

現代のビジネスにおいて、生成AIの活用は欠かせない要素となりつつあります。生成AIのサービスへの実装におけるノウハウを探求し、アクションへ繋げることが求められているといえるでしょう。

そこで、本記事では「生成AIのトレンドを踏まえながら、どのように生成AIをビジネスに実装すればいいのか」について解説します。後半では、業界リーダーのケーススタディとして、株式会社ELYZA代表の曽根岡氏と事業開発の西脇氏へのインタビューも交えて紹介していきます。

2024年は生成AIの実装が重要に｜生成AIをめぐるユーザ体験の分断
- 生成AIのサービス実装の事例
生成AI実装プロセス
生成AIシステム実装とプロンプトエンジニアリング
生成AI実装で重要なポイント
- 生成AI活用ではなくUX設計を重視する
- 大事なのは事業戦略
重要となる技術の活用
ケーススタディ：株式会社ELYZA
生成AIサービス実装の今後の展望

2024年は生成AIの実装が重要に｜生成AIをめぐるユーザ体験の分断

生成AI、特にChatGPTのようなサービスは2023年に大きく進化し、多くの人が簡単にアクセスできるようになりました。これはテクノロジーの普及としては大きな一歩ですが、ユーザ体験の面でいくつかの課題が生じています。

なかでも大きな課題の一つは、ChatGPTのような独立したサービスから享受できる恩恵が限定的であることです。これらのサービスは便利で魅力的ですが、多くのユーザーが私生活で日常的に使用するには至っていません。その理由の一つとして、これらのサービスが特定のプラットフォームやアプリケーションに限定されていることが挙げられます。ユーザーがChtaGPTなどの特定のウェブサイトやアプリを開く必要があり、使用の障壁となっています。

この課題を解決するための鍵は、サービスと生成AIの統合と応用です。2024年に求められているのは、Azure OpenAI ServiceのようなAPIを通じて、さまざまなサービスやアプリケーションに生成AIを組み込むことです。これにより、ユーザーは「生成AI」と意識せずに、より自然で快適な体験を享受できるようになります。

たとえば、電子メールアプリケーションに組み込まれた生成AIは、ユーザーの文体を学習し、効率的なメール作成をサポートします。また、Eコマースのプラットフォームに組み込まれた生成AIは、ユーザーの過去の購買履歴や好みに基づいて、パーソナライズされた商品推薦を行います。このように、生成AIは目立たない形でユーザーの日常生活に溶け込み、より効果的でパーソナライズされたサービスを提供することができます。

この統合により、生成AIは単なるツールではなく、日常生活の一部として自然に存在するようになります。ユーザーは特定のアプリケーションを開く必要なく、さまざまなデジタルサービスを通じて生成AIの恩恵を受けられるようになるのです。これが、今後の生成AIの発展において重要なステップとなるでしょう。

生成AIのサービス実装の事例

2023年にも生成AIのサービスへの統合事例はいくつか生まれています。代表的と言えるのがスマートニュースとメルカリの事例です。

スマートニュースは、2023年12月12日にスタートしたサービス「SmartNews+」で、ELYZAの生成AI技術を採用しました。このサービスの目玉機能は「AIサマリー」で、ビジネスニュース記事を30秒で読める内容に要約します。質の高い要約を維持しつつ、正確な情報伝達を目指す中で生成AIを有効に活用している事例です。

一方で、メルカリは2023年10月17日に「メルカリAIアシスト」を導入しました。これは、出品された商品情報をAIが分析し、売れやすくするための改善提案を行う機能です。商品の詳細情報や推奨される商品名など、AIが提案を行い、初期段階では特定のカテゴリに対応しています。メルカリはこのAI技術を通じて、利便性の向上と新しい顧客体験の創出を目指しています。

これらの事例から、生成AIがユーザーのニーズに応じてカスタマイズされ、さまざまな形でサービスへ統合されていく可能性が見て取れます。このような動きは、生成AIのさらなる普及と進化に寄与し、ユーザーにとってより自然で快適な体験を提供することでしょう。

生成AI実装プロセス

ここからは、生成AIを実装していくためにどのようなプロセスを辿っていくのかを解説していきます。

ステップ1：ビジネス目標を踏まえた生成AI活用検討

まず、企業がビジネス目標を定義します。たとえば、「長文のニュース記事を短時間で理解できる体験をユーザに提供するために要約する」や「出品サービスにおいてより売れやすい出品文章を推薦する」などの目標がそれにあたります。そして、市場のニーズや競合の動向、自社の強みを分析し、目標に合わせた生成AIの活用方法を検討します。

ステップ2：利用ケースの評価

次に生成AIの様々な利用ケースを検討し、具体的な活用シナリオを洗い出します。ここでは、生成AIのファインチューニングや、知識ベースの拡張（RAG: Retrieval-Augmented Generation）など、AIの独自性を活かしたケースを評価します。生成AIが提供する創造性や柔軟性をどのようにビジネス価値に変換できるかを考慮します。

ステップ3：技術的解決策の選択

生成AIの統合においては、技術的な側面だけでなく、システムプロンプトの設計やユーザーインタラクションも重要です。生成AIの応答や内容の品質を保証するために、データプライバシー、セキュリティ、モデルの透明性などを考慮した解決策を選択します。また、モデルの調整やトレーニングデータの選定にも注意を払い、特定のニーズに合わせたカスタマイズを行います。

ステップ4：概念検証（PoC）、MVP開発

市場での反応や実装の実現可能性を評価するために、最小限の機能を持つプロトタイプ（MVP）を開発します。この段階で、生成AIのファインチューニングやRAGの効果を試すことが重要です。フィードバックを基に、生成AIの精度や適応性を改善し、よりユーザーのニーズに応える製品を目指します。

ステップ5：システムの実装と最適化

システム実装では、生成AIの独自性を最大限に活用するためのテスト、デバッグ、最適化を行います。特に、生成AIの応答品質やユーザー体験に注目し、継続的な改善を行います。ユーザーからのフィードバックを活用し、生成AIのパフォーマンスと適応性を高めます。

ステップ6：改善

運用中の生成AIシステムを継続的にモニタリングし、ユーザーの行動データやフィードバックを基に改善を行います。生成AIの応答や生成内容の質を向上させるために、定期的にモデルを更新し、新しいデータや技術を統合します。市場の変化や新技術の出現に迅速に対応し、サービスを常に最適化します。

生成AIシステム実装とプロンプトエンジニアリング

生成AIの開発において、より具体的で精密なプロンプトの重要性が高まっています。これを「システムプロンプト」と表現することで、一般的なプロンプトとの比較を明確にします。サービスに生成AIを組み込む際、このシステムプロンプトの精緻化は、AIの振る舞いを固定し、一貫性のある応答を保証するために不可欠です。

システムプロンプトは、入力された内容に対してAIがどのように反応すべきかを定義するものです。これにより、生成AIの応答がより予測可能で、一貫したものになり、ユーザーの期待に合致した結果を提供することが可能になります。たとえば、ビジネスニュースを要約するAIには、ニュースの主要な点を抽出し、要約するための明確な指示が含まれるプロンプトが必要です。同様に、商品情報を改善するAIには、どのような情報が売り上げ向上に役立つかを判断するための具体的な基準がプロンプトに組み込まれるべきです。

これらのシステムプロンプトの作成には、AIが対応する特定のドメインやタスクに精通した専門知識が必要です。また、プロンプトは継続的に評価され、必要に応じて調整される必要があります。これにより、AIの応答の品質を維持し、変化するユーザーの要望や状況に適応させることができます。

結論として、生成AIをサービスに組み込む過程では、システムプロンプトの重要性が強調されます。これは、AIの振る舞いを適切に指導し、ユーザーにとって一貫性のある高品質な経験を提供するための鍵となる要素です。

生成AI実装で重要なポイント

生成AI活用ではなくUX設計を重視する

生成AIとサービスを統合する際に最も重視されるべき要素は、間違いなくUX（ユーザーエクスペリエンス）設計です。この設計が適切でなければ、生成AIの振る舞いがユーザーにとって不快になるリスクがあり、その結果、サービスの提供価値が損なわれる可能性があります。

生成AIをサービス全体のUX設計に適切に組み込むことで、より高いユーザーエクスペリエンスを構築することが可能です。このプロセスでは、生成AIの機能がユーザーのニーズに合致しているか、そしてそれが全体的なサービスデザインにどのようにフィットするかを慎重に考慮する必要があります。例えば、ユーザーが迅速な情報取得を望んでいる場合、要約や推奨機能のような生成AIの機能が価値を提供するかもしれません。一方で、ユーザーが深い分析や詳細な情報を求めている場合、より複雑で詳細なデータ処理を行うAIの統合が適切です。

重要なのは、生成AIという技術そのものに固執することなく、ユーザーにどのような価値を提供したいのかを常に念頭に置くことです。生成AIの統合は、ユーザーがサービスから得られる体験の質を向上させるための手段の一つと考えるべきです。必要に応じて、適材適所でのAIの使用が求められます。これには、ユーザーのフィードバックを収集し、継続的な改善を行うプロセスが不可欠です。

最終的に、生成AIをサービスに組み込む際の目標は、単に最新のテクノロジーを導入することではなく、ユーザーにとって意味のある、満足度の高い体験を創出することにあります。これにより、サービスはより魅力的で価値あるものになり、ユーザーの満足度とエンゲージメントが向上します。

大事なのは事業戦略

その意味で重要になっているのは事業戦略を正しく描くことです。

事業戦略の重要性は、生成AIを取り入れる現代のビジネス環境において非常に高まっています。生成AIという単一の技術に固執するのではなく、事業の全体像をしっかりと描き、それに基づいてデータを収集し、生成AIだけでなくさまざまなデジタル技術を組み合わせて事業を構築する能力が求められています。

生成AIの発展は、デザインやプログラミングなどの作業工数を削減し、結果としてサービス開発のスピードを加速させると予想されます。このような環境下で、事業戦略は特に重要になります。戦略を先導し、その方向性に基づいて生成AIを含む各種技術を適切に活用することが、サービスの成功への鍵です。

事業戦略を策定する際には、市場の動向、顧客のニーズ、競合分析、そして利用可能な技術の可能性を総合的に評価し、それらを踏まえた上で、どのように生成AIを活用するかを検討することが重要です。例えば、顧客体験の向上、オペレーションの効率化、新しいビジネスモデルの創出など、具体的な目標を設定し、それに対して最適な技術の組み合わせを採用することが重要です。

また、生成AIを取り入れることで生じる倫理的な問題や、社会的な影響にも注意を払う必要があります。ユーザーのプライバシー保護、データのセキュリティ、公正性や透明性の確保など、技術を導入する際にはこれらの側面も考慮する必要があります。

結論として、生成AIを活用した事業展開においては、単に最新技術を取り入れることだけでなく、戦略的な視点を持ち、市場や顧客のニーズに合わせて技術を適切に統合することが成功への鍵です。このアプローチにより、ビジネスは持続可能で競争力のあるものになり、長期的な成長を達成できるでしょう。

重要となる技術の活用

生成AIシステムの実装で重要となる技術の一例として「RAG」「ファインチューニング」「VectorDB」が挙げられます。

RAGとは

RAG（Retrieval-based Language Model）は、生成AIに外部情報源を統合して回答の質を向上させる技術です。AIは、クエリや質問に基づいてインターネットや企業データベースなどから情報を収集し、その情報を用いて回答を生成します。このアプローチにより、AIは外部の固有知識にアクセスし、特定のトピックや質問に対してより関連性の高く、正確な回答を提供できます。

ファインチューニングとは

ファインチューニングは、AIモデルを特定のタスクやデータセットに特化させるための調整プロセスです。このプロセスで、既存のAIモデルに追加のデータや知識を学習させることで、特定の業界、言語、話題、または企業固有の情報に適応させます。結果として、企業はAIを自社のニーズに合わせてカスタマイズし、より高精度な結果を得ることができます。例えば、LoRA（Low-Rank Adaptation）はファインチューニングの一つで、生成AIのパラメータを限定的に調整することで、特定のニーズに合わせた応答を生成します。

VectorDBとは

VectorDBは、データの効率的な格納と検索を可能にする高次元データに特化したデータベースです。生成AIでは、大量のデータとの高速なやり取りが求められるため、VectorDBはこの要件を満たす重要な技術となります。特に、分散検索機能により、データ量の増加に伴っても迅速な検索時間を保証し、効率的なインデクシング技術を使用して類似性検索を高速に実行します。これにより、生成AIモデルは多様な種類のデータを扱う際に、より精度の高いアウトプットを生み出すことが可能となります。

ケーススタディ：株式会社ELYZA

スマートニュースの事例をはじめとして、2023年に数少ない生成AIのプロダクト実装の事例を作った株式会社ELYZAの代表取締役 CEOの曽根岡氏、事業開発の西脇氏にお話を伺いました。

曽根岡侑也：株式会社ELYZA代表取締役CEO。東京大学松尾研究室修士卒。株式会社松尾研究所取締役。松尾研にて共同研究のPMやNLP講座の企画・講師を務める。未踏クリエイタ。世界最大規模のハッカソンBattleHack日本代表。

西脇純平：東京大学教育学部卒。株式会社ビービット、株式会社ユーザベースを経て現職。UXコンサルティングやB2B SaaS事業での経験を活かし、現在は事業開発・広報・HRを担当。

2023年の振り返り

－－2023年は大企業の業務効率化としての生成AI導入という流れがあったと思います。ELYZAさんの視点から2023年を俯瞰的に振り返って頂けますか？

曽根岡氏：大きく社会的な動きとしては研究開発の流れがありました。LLM自体を独自に開発し、ChatGPTに対抗するモデルを作ろうと、国内でも名だたる大企業やスタートアップが動いていたと思います。研究開発のトレンドとしては、大企業がお金をかけてフルスクラッチでモデルを構築する流れもありましたね。

弊社は、既存のLLMを活用してスピード感を持って開発に取り組みました。2023年8月に日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開しました。ちょうどその頃から、既存のLLMを活用したモデルの研究開発が活発化してきた印象があります。

ChatGPTを実用的に使っていくトレンドとしては、 2023年の上期と下期で大きく分けられると思います。

上期は、多くの企業でChatGPT環境を社内に入れることに注力していたと思います。しかし、社内に導入しただけでは業務効率化はあまり進みませんでした。そこで下期は、業務に根差した、LLM周りの技術を理解し、UIも含めてシステム化していくことに社会全体でチャレンジしていたと思います。

まとめると、LLMを業務効率化で使おうとする企業が多かったものの、本当に効率化できている会社はそんなに多くない。LLMの活用については、業務効率化とプロダクト実装のどちらも難易度が高く、大きな壁があると認識しています。

⬇︎ELYZAが公開したLLMについて詳しくはこちら
Metaの「Llama 2」をベースとしたパラメータ数70億でGPT3.5に匹敵、日本語LLM「ELYZA-japanese-Llama-2-7b」が公開

システム実装の壁はモデル評価の難しさ

－－プロダクト実装に大きな壁があるということですが、生成AIのモデルとツールやデータベース連携ができてないので分断が起きているのでしょうか。業務フローへの組み込みづらさが生成AIの業務活用が進まない原因なのでしょうか？

曽根岡氏：データベースやツールとの連携も業務活用が進みづらい原因の一つだとは思いますが、我々はもう少しシンプルなところに課題を感じています。

生成AIは比較的最近の技術ですが、生成AI以前のAIはエンジニアだけで作ることができたんですね。例えば顔写真を入れて男性か女性かを当てるAIであれば、テストデータを1000件用意しておけば、 AIモデル作ったらこのモデルは95%の精度といった形で定量的に精度を測ることができたんです。

しかしながら、生成AIが作る文章や画像は定量的に精度を測りづらい。AIエンジニアが精度の良いモデルが作れたと思っても、現場に入れて使ってもらうと実際は使えないという事が起こります。つまり、生成AIの出力結果を評価するのは非常に難しいのです。

そのようなギャップが起こらないために、現場で実際に使う人の主観的な評価も考慮した上でモデルをチューニングしていくこと。これが、多くの企業ではできてない可能性があると思っています。

－－不確実性にどのように向き合うのかが重要になっているんですね。

曽根岡氏：これまでのSaaSプロダクトを作るのに比べ、LLMは不確実性が高く、プロダクト設計や付加価値のあり方、コスト構造も重要になります。今まで作ってきたSaaSプロダクトよりも実装の難易度が高く、その分実装できたときには大きなインパクトが生まれます。LLMのプロダクト実装を進めるためには、社会全体で実装に挑戦しつつ、ノウハウを共有していく必要性があると思います。

－－プロダクト実装にあたり、UIよりもUX設計がすごく難しいのではと思ったのですが、いかがでしょうか？

曽根岡氏：おっしゃる通りですね。UX設計が非常に重要になってくると思います。論点の1つとして、LLMにはハルシネーションの問題があり、その対策をする必要があります。

100%ではない精度の中で、どのように業務をサポートするのかというUXの設計も重要になってきます。

－－だからこそ、先ほどのお話の中であった「現場での評価指標がない」といったところは業界課題として存在していると思います。業界団体などが旗をふってそのような取り組みをやっていけたらいいですね。

曽根岡氏：おっしゃる通りですね。どのように評価していくかというところは見落とされがちなところかと思います。

－－現場での評価という流れでいくと、保険として、利用開始前に注意事項としてハルシネーションすることを伝えてからユーザに使わせるケースが多いと思います。そのようなユーザの期待値をコントロールしてLLMを使わせる動きが2023年にあったと思いますが、いかがでしょうか？

曽根岡氏：おっしゃる通りだと思います。現在はユーザーのリテラシーが非常にまばらだと思っており、一般的なユーザーはハルシネーションという言葉を全然知らないのが当たり前のことだと思います。そのため、そのような注意喚起を入れて運用していくのは社会全体でやっていく必要があります。そして、皆さんが徐々にスマホに慣れていったのと同様に、LLMにも慣れていくようにしていくことが重要だと感じます。

－－コスト構造についてもお伺いします。プロダクトのUX設計の裏に、API費用を考慮した利益構造を作らなければならないという難しさもあると感じますが、いかがでしょうか？

曽根岡氏：GPT4のような高性能なモデルを使うと、サービスの原価として数十%程度OpenAIに支払われるという構造があるということ認識しています。

これをいかに下げるかが重要であり、そのためにはGPT3.5-Truboを使ったり、Geminiを組み合わせるというのもあると思います。場合によっては、前処理においてLLMで処理すべきデータを事前に振り分ける分類器を作るというのも手かもしれません。

－－分類器を作るお話は特に興味深いです。例えば、まずはルールベースで振り分ける、除外されたものをLLMで処理をして、最後に人間のオペレーターが対応する。そのようなLLMだけに頼らない仕組み設計が重要と思いますが、いかがでしょうか？

曽根岡氏：おっしゃる通りだと思います。我々が言ってるのは、LLMはあくまでも1パーツであり、やるべきなのはデータをどう処理するかを最適化することです。その中で、今おっしゃって頂いた仕組みも一例として、他にもさまざまな工夫点があるのだと認識しています。

スマートニュースの事例における発見

－－スマートニュース様の事例について、サービス実装する上で工夫した点や注意した点がありますでしょうか？

西脇氏：スマートニュース様と半年ほど試行錯誤しながら伴走してきました。その中でも2点ほどポイントがあったと感じています。

①記事の要約の精度

ユーザーが満足するかという視点だけではなく、その記事の提供元の関係者の方々にも満足して頂けるように、とにかく精度こだわりました。

具体的には、我々の社内でも評価基準を設けて複数人でチェックし、この精度なら大丈夫そうだというのを何度も何度も確認しました。さらに、スマートニュース様側でも独自で評価基準を作っており、それぞれが評価の基準点を超えるまで取り組んだ結果、各方面の関係者の理解を得られる形で進められたと思っています。

②タイムパフォーマンスという体験設計

単なる業務効率化ではなく、「新しい体験を提供しよう」というサービス設計がポイントだったと思います。BtoCかつ有料の形で生成AIを使ったサービスをローンチできたというのは極めて貴重な事例になってるのではないかと思います。

株式会社ELYZAへのインタビューまとめ

2023年、多くの企業が生成AIの導入を試行錯誤している中、ELYZAは生成AIのプロダクト実装において貴重な成功事例を作りました。その理由としては、生成AIのプロダクト実装において大きな壁となっている「①UX設計における論点の多さ」「②ユーザの主観的評価の重要性」「③コスト構造の理解とコスト最適化」を理解し、適応してきたからといえます。

スマートニュースの事例では、単なる業務効率化ではなく、生成AIを用いた新しいユーザー体験の提供という点で、今後のプロダクト開発における新たな可能性を見出すものとなりました。