HOME/ AINOW編集部 /社内の生成AIにおける「回答精度の低さ」をどう克服する?|株式会社クレディセゾンCTOに訊く
2024.07.02

社内の生成AIにおける「回答精度の低さ」をどう克服する?|株式会社クレディセゾンCTOに訊く

最終更新日:

現在、業務効率化や顧客体験の向上といった目標に向けてさまざまな日本企業が生成AI導入を行なっている。

そんな中で生成AIを活用する側の従業員の活用率も高い水準になりつつある。株式会社TMJの調査では、回答したビジネスパーソン408名のうち6割以上の人が生成AIを活用できていると回答した。

出典:TMJ調べ

ただ、調査結果を見るとまだ3割以上の人は生成AIを活用できていないと感じている。そうした人がどうしたら生成AIを使いたくなるか聞いたところ、「生成AIの回答精度が向上したら」という回答が最も多かった。

出典:TMJ調べ

生成AIは導入するだけでは意味がなく、利用してもらうことで初めて意味を成すことは言うまでもない。

そこで、今回は実際に生成AI導入において回答精度の課題に直面し、それを乗り越えたクレディセゾンCTOの小野和俊氏にお話を伺う。

小野和俊氏:1999年サン・マイクロシステムズ株式会社に入社。米国本社での開発などを経て2000年に株式会社アプレッソを起業。データ連携ミドルウェアDataSpiderを開発し、SOFTICより年間最優秀ソフトウェア賞を受賞。2013年にセゾンテクノロジーとアプレッソが資本業務提携。2019年に株式会社クレディセゾンへ入社。取締役CTOなどを経て、2023年3月より現職。

▼クレディセゾンにおける小野氏の5年間のDX推進についてはこちら

開発した3つの生成AIツール

−−クレディセゾンが導入したAIツールの概要を教えてください。

小野氏:クレディセゾンでは大きく3つの生成AIツールを導入しました。

まず1つ目は、AIアシスタントの「SAISON ASSIST」です。これは一言でいうと「社内ChatGPT」で、スタンダードな生成AIツールです。

OpenAI API/Azure OpenAI Serviceと連携したAIアシスタントを内製開発し、文章の要約や企画アイデアの検討などへの活用を推進しています。

OpenAIのAPIは元々オプトアウトが設定されていて入力データが学習に用いられないので、個人情報や機密情報を入力しない限りは、安全に使えます。

そして2つ目は、社内情報回答チャットボット 「アシストくん」を導入しました。

「締め日直前の勤怠の付け方」や「財務経理の経費精算の時のインボイス対応」といった業務における質問などに回答するツールです。

元々社内FAQを内製開発していたため、RAGを立ててそこに社内FAQの内容を双方向同期する形で開発していきました。

このツールではUXを向上させるための工夫を行いましたので、後ほど詳しく説明します。

最後に3つ目として、議事録作成システムを導入しました。

これは文字起こしとその要約を生成AIに任せることができ、加えて利用者が質問できるといったインタラクティブなUXを取り入れています。

生成AIの回答精度の課題とその解決に向けた工夫

−−導入にあたって苦労した点について教えてください。

小野氏:2つ目の社内情報回答チャットボットに関しては、苦労した点がありました。

それは、回答の内容が間違っているケースがあることと、それに伴って質問者が回答を信頼できなくなってしまう点です。

これはツールを利用する上で致命的といえるので、プロトタイプを一回作った際に導入を断念するか迷うほどの課題でした。

−−どのような工夫で乗り越えたのでしょうか。

小野氏:回答の前に人間が確認するというフローを挟むことで課題を解決しました。

具体的な流れとしては、まず質問者がslackに質問した際に「担当者へお繋ぎします」という画面を表示します。

そして、RAGで検索された回答候補がドンピシャで合っていれば、手動で送信ボタンを押して疑問の解決となります。これによって質問者も人間が確認しているという安心感のもと、回答を信頼できるようになります。

回答候補の内容が古かったり、微妙に間違っていた場合は人間が手動で回答します。ただ、よほど質問が例外的でない限り、一度人間が回答した内容はFAQに登録され、次から自動的に回答されるというシステムです。

質問者はもちろん、回答部門も勝手に変な回答をされるということがなくなるため、利用する従業員の心理的障壁を取り除けた施策だと思います。

ただ、1点この施策が裏目に出るケースもありました。

それは、質問に対してわざわざ人の手を煩わしてしまうのは申し訳ないと考える利用者がいるという点です。

こうした課題に対しては、人によるチェックを省くというボタンを設置することで解決に導きました。回答は間違えているかもしれないけれど、人の手をわずらわせることがないという心理的な安全性を高めることができました。

システムの裏に人が控えていると思うと申し訳ないという声が特にエンジニアから多く挙がっていたため、この施策も好評でした。

−−なるほど。人を入れることが最適解だったんですね。

小野氏:はい。EX(従業員体験)を向上させるためには、人を入れることが最適解だと考えました。

人が確認するというのは、一見古くてダサいと思われるかもしれません。ただ、人が確認することによって従業員の安心感が生まれるのであれば、技術的なかっこよさを求めるよりも合理的な設計だといえます。

結局、生成AI推進やDX推進といってもEXやCXを向上できるか否かであると思います。

ただ「生成AIを導入して活用した」ということではなく、「生成AIを導入するビフォーアフターで業務がどう変わったか」ということを常に意識しています。

社内データ管理で意識していること

−−他方、RAGを利用した生成AIツールではデータ管理も重要だと思いますが、意識されている点はありますか。

社内FAQにおけるデータという文脈でいうと、「あらかじめやり取りを行う場所を決める」ということを重視しています。

なぜなら、ある部門ではslack、ある部門ではGoogle Workspaceというような状態だと「データがどこにあるのか」や「そもそも社内にあるのか」といったことが分からなくなってしまうためです。

ただ、私がクレディセゾンに来た2019年に全社でコミュニケーションツールをslackにしていくと言ったところ反応は良くありませんでした。

しかし、さまざま社員がslackの利便性を体験していくことで、徐々にそれぞれの部門がslackに移行していきました。これもEXが高まったことで、全社的な利用につながったわけです。

そしてこれは、最初から計画しすぎず、全社的に拡大できるタイミングを見極めることで実現できたと考えています。

−−その中で、slackにもデータが蓄積されていくわけですね。

小野氏:おっしゃるとおりです。役員同士のやり取りもslackベースとなっていて、基本的にはチャンネルをオープンにしているため、後から他の部門からでも検索可能となっています。

例えば、営業の日報に関しても全部slackに入ってくるので、社長が社長←事業部長←部長←課長という流れで報告させなくとも、直接現場の日報に飛び込んでいけるわけです。

つまり、社員のあらゆるコミュニケーションがデータベースとしてslackに宿るようになるということです。まだ完全ではありませんが、こうしたデータが先ほどの社内FAQのRAGにも活かされています。

なので、slackとRAGの連携、slackによる一元的なデータ管理は非常に重要性が高いと考えています。

内製開発と生成AIの相性は抜群

−−クレディセゾンの大きな強みの一つとして内製開発が挙げられますが、今回の生成AIツールの開発においても強みを発揮されましたか。

小野氏:はい、強みが活きました。

ただ、前提として我々は何でもかんでも内製化すればよいとは思っていません。

例えば、過去に行った弊社の非常に大規模なクレジットカードの基幹システムのデータ移行は、大きな工数がかかりましたので、そうした際にはベンダーの調達力に助けられました。

そういった前提を踏まえて、内製化は戦略的重要性と不確実性の両方が高い場合に適応すべきだと思うのですが、まさに生成AIは両方が高い相性抜群のトピックでした。

生成AIは戦略、言い換えると使い方次第でまさに会社の未来を変える存在であるといえます。加えて、新しい技術がポンポン生まれるといった不確実性も併せ持っています。

不確実であるからこそ、「こういう機能があったらいいよね」や「新たな技術を検証してみよう」ということを足取り軽くやってみることが重要です。ベンダーに依頼するとなると、お互い契約でカッチリとしてしまいます。必ずしもそれが悪いことではありませんが、不確実性が高いトピックの場合は、内製開発の強みを活かせるといえます。

もちろん先ほどご紹介した3つのツール全てを内製で開発しました。特に、1つ目にご紹介した社内ChatGPTは1ヶ月かからずに足取り軽く開発できました。

これまでのDX推進で気づいた最も重要なこと

−−小野さんはこれまでにシステムの内製化や社員のDX推進を進めてこられましたが、そこで最も重要と感じたことは何でしょうか。

小野氏:やはり「計画しすぎない」ということです。

もし私が会社に入って、エンジニアが1人の段階で5年以内に100人以上のチームを作ると言ったとしても、エビデンス不足で説得力がなかったと思います。

そこで我々は最初、まずやってみようということで2ピザチーム(8人)だけで内製チームを作りました。そしてアプリの一部機能を内製化したところ、技術的負債を返済できずに痛みを感じました。

ただその痛みの発生は、「1箇所を変更したらソースコードが固定されてて、他の箇所に抜け漏れが生じる」といった具体性を持った課題として語れるようになることを意味します。

つまり、計画しすぎずに取り組む中で本当にやるべきことや優先順位を発見でき、周りに働きかけることができるようになるということです。

そうしたことを積み重ねていった結果、今では内製チームを145人まで拡大することができました。

今後の展望

−−クレディセゾンのDX推進の展望を教えてください。

小野氏:我々はこれまでDX推進をいくつかのフェーズに分けて推進してきました。

まずフェーズ1は、内製チームを立ち上げてスモールチームでプロジェクトに取り組んでいく段階です。そして、フェーズ1がある程度機能することが分かったので、常設部門を巻き込んでフロントアプリはもちろん、基幹システムなども含めて全社DXを推進しました。これがフェーズ2です。

そして現在は、フェーズ3として全社員によるDX、つまりIT部門だけでなく社員1人1人が生成AIツールやノーコード・ローコードツールを使いこなせる環境を目指しています。全社員のデジタルリテラシーを底上げしていくことで、各々の生産性を向上するといった目的を達成できるように働きかけています。

直近の具体的な目標としては、この1年でおよそ700人のIT部門以外の開発者を育成しようとチャレンジしています。

−−なるほど。全社員が生成AIを使いこなせる環境を目指すということですが、そのために具体的に必要なことはなんでしょうか。

小野氏:具体的には2点あります。まず1点目は、全社員が生成AIを当たり前のように使っていける環境を整備していくことです。

slackの導入の例でもお話ししましたが、新たなツールを導入する際は社員一人一人がその利便性を実感して、能動的に利用したいと思える環境を作り上げていくことが重要です。

実際のところ、現在でも問い合わせ回答業務を2つ目に紹介した社内FAQチャットボットではなく、担当部門に電話して聞いてしまうといったケースも生じています。

そういった意味でもツールにおけるEXを継続的に高め、社員が能動的にツールを使いたい環境を整備し続けることが重要です。

そして2点目は、生成AIによる定性的な成果を社員に浸透していくことです。

もちろん生成AIによる業務効率化といった側面で定量的な成果も重要ですが、社員の活用を促す上では定性的な成果、言い換えると印象的なエピソードが重要だと思います。

生成AIが自身の業務にどう貢献してくれるのか分からないといったケースも散見されるため、印象的なエピソードがあれば浸透していくように働きかけています。

そういったエピソードを生み出して浸透させるという意味でも、近々社内ChatGPTを活用した成果物のコンテストを開こうと考えています。

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する

あなたにおすすめの記事

Generative AI Japan|産官学連携で世界に通用する競争力の獲得を目指す

生成AI時代の人材育成|海城中学高等学校物理部がAI班を作ったワケ

GPT-4oはクレイジーだ―思わず言葉を失うような(信じられない)6つの使用例を紹介

社内の生成AIにおける「回答精度の低さ」をどう克服する?|株式会社クレディセゾンCTOに訊く

博報堂DYグループの挑戦|Human-Centered AI Institute が問うAIと人間の新しい関係性

“現実と仮想の境界線を越えたエンターテイメントとは?” |川田のロンドン体験レポート

低コストで高性能なAIモデル・MoEモデル開発の舞台裏|カラクリCPO中山氏へインタビュー

あなたにおすすめの記事

Generative AI Japan|産官学連携で世界に通用する競争力の獲得を目指す

生成AI時代の人材育成|海城中学高等学校物理部がAI班を作ったワケ

GPT-4oはクレイジーだ―思わず言葉を失うような(信じられない)6つの使用例を紹介

社内の生成AIにおける「回答精度の低さ」をどう克服する?|株式会社クレディセゾンCTOに訊く

博報堂DYグループの挑戦|Human-Centered AI Institute が問うAIと人間の新しい関係性

“現実と仮想の境界線を越えたエンターテイメントとは?” |川田のロンドン体験レポート

低コストで高性能なAIモデル・MoEモデル開発の舞台裏|カラクリCPO中山氏へインタビュー