「人工知能」というキーワードでクラスタリングしてみた!Cogent Labs 「Kaidoku」

おざけんです。今回はAI(人工知能)の技術の中でも「自然言語理解」に重点を置いてCogent Labsの「Kaidoku」というサービスをご紹介します。

AIの活用の1つの道として「業務効率化」が注目されています。「仕事が奪われる」という意見がありつつも、「めんどくさい作業はAIにやってくれないかな」という期待があるのでしょう。

AIの特技の1つは膨大な情報の中から特定の情報を見つけること。これはAIの認識力が向上したからこそ成し得た技です。Kaidokuは今まで必要な情報探索の大幅に削減するために開発されたCogent Labsのサービスです。

今回はKaidokuで実際に「人工知能」という言葉の使われ方を可視化してみたり、Twitterなどの不完全な文章でもAIが解読できるのかに迫り、自然言語理解技術の最前線をお伝えできればと思います。

マックス・フレンゼル(左)
■Ph.D. リサーチサイエンティスト Kaidoku 開発者
■量子物理学者で、AIと機械学習に強い関心を持つ。 量子情報理論のPhDをインペリアル・カレッジ・ロンドンにて取得。 博士課程中、JSPSの奨学金を受給し東京大学で1年間研究者として勤務した経験を有する。
野澤 智(右)
■Kaidoku プロダクトマネージャー
■外資系ITベンダーでシステムエンジニアとしてキャリアをスタートし、
様々なISVプロダクトの日本でのグロースをサポート。
その後プロダクトマネージャーとして、USやインド、中国などのメンバーとともに10年以上にわたりIaaSやSaaS、
ウェブマーケティングなど様々なプロダクトに携わり、ローンチやグロース、マーケティングをサポート。

膨大な情報の中から欲しい情報を探し出す「Kaidoku」

KaidokuはCogent Labsが開発した自然言語理解の技術を活用したサービスです。

速度を増す時代の潮流に対応していくために、多くの企業が、さまざまな手法で情報を集め、自社の戦略に生かしています。

そんな今、金融やマーケティングなどのリサーチ業務をはじめ、さまざまな業種や用途で情報をリサーチする需要が生まれています。

Kaidokuは、そんな課題を解決するために自然言語理解技術を活用して、各ユーザに関連するトピックを要約してまとめる機能を有しているツールです。

単語や文章だけでなく、傾向や因果関係の理解などの時系列の情報も取り込み、包括的な情報分析を可能にします。

野澤さん:いろんなテキストデータが世の中に溢れています。それら大量のテキストデータを分析したり、有効活用したりするのが難しい状況になってきています。

AI(人工知能)を使って今まで活用できずに捨てられていたデータから新しい知見を生み出すということにフォーカスしたものがKaidokuです。

大きく分けて3つの機能を搭載

Kaidokuでは、テキストなどの定性的なデータ(データベースのように構造化されていないデータ)を処理して、大きく分けて3つの手法で可視化します。

<Kaidokuの機能>

Kaidokuの3つの機能 引用:Kaidoku 公式サイト

野澤さん:一般的な検索のように単なるキーワードをマッチさせるだけではありません。例えば『自動車』と検索すると、『車』や『エンジンが付いている4輪車』のような概念も理解し、より高度な検索が可能になっています。

そして概念を理解することで可能になるのが「クラスタリング」です。

野澤さん:単語レベルで文章を分析するのではなく、文章の意味自体をAIが理解して分析するというのが特徴です。文章の意味を理解し、一つの文章を点で表します。その上で、近しい意味のものを寄せて表示させています。

新聞のニュース記事データで『人工知能』というキーワードを検索し、実際にクラスタリングしてみると、

「人工知能」という言葉が使われている文章をクラスタリングした結果(新聞の記事情報を元に作成)

技術、開発」はもちろんのこと、「ドル、上場、ファンド」「比、減、純利益」など経済のテーマや、最近話題になることの多い「自動運転」「人材」などの文脈で『人工知能』という言葉が使用されていることがわかりました。

野澤さん:この技術を活用すれば、企業の顧客データやコミュニケーション履歴などを利用して、傾向が似ているお客様に対してアプローチが容易になります。

『こういうお客様に対して、過去にこういう提案をした』というように、最善の提案を分析することも可能となれば、より効率的な営業も可能になるかも知れません。

野村證券で90%の業務時間を短縮する可能性を示したKaidoku

Kaidokuは実際に企業でどのように使われているのかをご紹介します。

Kaidokuはまだ限定的な提供しか行われていませんが、今回は野村證券での実証実験の事例をご紹介します。

野村證券では、日経新聞などのニュースを読んで、毎日その日に何がおきたのかのレポートを書く業務がありました。関連性のあるトピックを、自分でピックアップしていく作業です。

従来のソリューションではなかなか代替できない、高度な分析力が求められるタスクですが、Kaidokuを使うことで、約90%の業務時間を短縮できる可能性を発見でき、現在本格的な活用に向け開発を続けています。

野澤さん:トルコ通貨の『トルコリラ』の下落といったニュースが起きた際に、人の目ではなかなか追いきれない情報でも、Kaidokuでクラスタリングすることによって、よりわかりやすく、効率的に情報収集することが可能になりました。

単なる業務時間の削減だけでなく、人間では不可能な量のデータを処理できることで、分析精度の向上にも役立つサービスです。

Twitterでの「www」なども認識する

また、Kaidokuはとある地方自治体でも活用されたといいます。Twitter上のツイートを分析することで政策の立案に市民のさまざまな意見を反映させることを可能にしました

Twitterは専門用語が多く「www」など本来とは違った言葉の使い方をすることも多いSNSです。Kaidokuではそんな情報も処理することが可能だといいます。

マックス・フレンゼルさん:Twitterのデータであっても可視化することができます。Twitterでは自然言語理解の技術でも扱いづらい略された言葉が多く使われますが、多くのTweetを学習させることで『www』のような表現に関しても問題なく認識することができます

トーカナイザーと言って、単語レベルでも学習をさせているので、Tweetのような特殊な言葉にも対応できるんです。実際にこの地方自治体ではTwitterから世論に関する意見をKaidokuを使って取り入れて運営に生かしています。

また、アンケートだけを利用すると回答者が特定の層に偏ってしまうなどの問題もあり、Twitterを使うことで、バランスのよい意見の収集が可能となり、従来得られなかった分析結果を得ることができました。

さいごに

人間の処理できるデータ量は変わらないままも、世界のデータ量は日に日に増しています。TwitterやFacebookなどSNSで誰でも発信できるようになった今、情報の扱い方を見直す時がきているのかもしれません。

日立ソリューションズの調査によるとビジネスパーソンは平均して1日に1時間前後のあいだ、情報収集にあたっているといいます。そんな中で、同時に多くの情報を処理できる人工知能技術の活用が一つの手です。

今後、Kaidokuをはじめとする自然言語理解技術が、ビジネスパーソンの仕事の仕方を大きく変えていくでしょう。ぜひ、自社にある情報の活用の参考にしてみてください。

 

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する