HOME/ AINOW編集部 /ビッグデータとは?定義・事例・活用法まで徹底解説
2020.02.02

ビッグデータとは?定義・事例・活用法まで徹底解説

最終更新日:

データ量が急増しています。総務省「ICTコトづくり検討会議」報告書では、2011年に1ゼタバイトに到達した国際的なデジタルデータの総量が、2020年には約40ゼタバイトに達すると予想されています。

このような膨大なデータは「ビッグデータ」と呼ばれ、各界から注目を集めています。

例えば、総理大臣の安倍晋三は2019年1月のダボス会議で、「成長のエンジンはもはやガソリンではなくデジタルデータで回っている」と発言しています。
参照:https://ainow.ai/2019/04/22/168216/

また、ソフトバンクグループの代表取締役の孫正義は、「100万倍やってくるデータを人間が使って推論していくのは不可能に近いくらいの規模です。だから我々は一気にAIの力を使って推論していく、こういう世界になっていくと思います。」と、データとAIを組み合わせた可能性について言及しました。
参照:https://ainow.ai/2019/07/18/173607/

しかし、ビッグデータとは何か。改めて問われると、みなさんは説明できるでしょうか?今回は、徹底的に分かりやすく解説します。

ビッグデータとは何か

ビッグデータとは何でしょうか。定義と登場の背景を解説します。

ビッグデータの定義

ビッグデータとは、その名の通り膨大なデータを指す概念です。しかし、何を基準にしてビッグとするかは、さまざまな見方があります。

現在では、数十テラバイトから数ペタバイトのデータ量を指すと言われています。しかし、時代が進むにつれて、さらに膨大な量を「ビッグデータ」と指すようになると考えられます。

また量的な多さ、データ量だけがビッグデータの判断基準とも言えません。

例えば、IT用語辞典では、「様々な種類・形式が含まれる非構造化データ・非定型的データ」であることと、「時系列性・リアルタイム性のあるようなもの」をビックデータと呼ぶことが多いとしています。

参考:IT用語辞典 e-Words

ビッグデータを最初に定義したと言われる、アナリストのダグ・レイニーは、3つのVを使ってビッグデータを定義しています。

「Volume(量)データの膨大さ」「Velicity(速度)リアルタイムで収集できるデータ」「Variety(多様性)多様なデータの形式」の3つです。

参考:https://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf

ダグ・レイニーのレポ―トは、ビッグデータを定義する3つの観点を提供した一方で、具体的に、「〇〇バイト以上がビッグデータである」という定義には及んでいません。

その時、その時の文脈に応じて、何らか基準よりも「大きい」と判断されたデータが、「ビッグデータ」と呼ばれるのです。

ビッグデータ登場の背景

ビッグデータの登場の背景には、スマートフォンなどのインターネットに繋がった機器の増加や、インターネットを通じたサービスと、それを利用するユーザーの増加があります。

例えばこの記事を読むうえでも、

  • どこから、この記事に辿りついたか
  • この後、どのページに行くか
  • どのくらいこの記事を読んでいるか

などがデータとして、蓄積されています。

下記のグラフのように、日本のトラフィック量(通信回線の延べ保留時間で、データ量を表す指標として使われる)の増加は留まることを知りません。

出展:『我が国のインターネットにいけるトラヒックの集計結果

世界に目を向けても、データ量の増加は膨大です。インターネットの急速な普及が、データの量の増加を助けたことが分かり分かります。

出展:https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h26/html/nc131110.html

ビッグデータの収集技術と解析技術

ビッグデータが注目されている2つの理由を紹介します。データを集める手法の進化と、データを使う手法の進化です。それぞれ解説します。

データを集める手法の進化

データを集める手法が進化しています。その要因は、インターネットです。そこに、あらゆる「もの」がインターネットに繋がることで、さらにデータが集まっています。いわゆるIoTです。

IoTとは、モノがインターネットの接続されていること、あるいはインターネットに接続された端末自体を指します。

関連記事|ゼロからわかる「AI・IoT」そのつながりの実態>>

例えば、冷蔵庫がインターネットに接続された状況を想像してみてください。いつ、誰が、冷蔵庫を使用したか、記録することができます。これを活用して、細かな温度調節をすることができます。他にも、信号機からカメラまで、あらゆる端末のインターネットへの接続が進められています。

このように、あらゆる端末から集められる、膨大で多様な情報はビッグデータとなります。

データの解析技術の進化

ビッグデータを集める手法は深化し続けています。一方で、どれだけデータがあっても、そのデータを解析して、法則性を見出し、活用できるようにしなければなりません。

統計数理研究所の樋口知之氏は「データ・サイエンティストがビッグデータで私たちの未来を創る」(2013)のなかで、MGIレポートを受けて、ビッグデータの解析方法で必要な技術を以下の3点だとしています。

1つ目は、巨大なデータをどのように保存、蓄積していくかという「ビッグデータ工学」。2つ目は、ビッグデータから得られ情報を、ビジネスなどの実学に活かすための表現方法として、「データ可視化」。3つ目は、統計学、データマイニングなど、広い意味でのデータ科学を活用し、単なるデータから、使えるモデルを導く「データ解析法」です。

3つ目の、データ解析法において、技術的な発展がもたらされて、データが生きるようになりました。機械学習です。

機械学習とは、膨大なデータから人の判断を介さずにルールやパターンを発見して、モデルを作る手法です。画像認識コンテストにおいて、驚異的な成果を出したディープラーニングも、機械学習の一つの要素技術です。

大量のデータから法則性を導くためには、機械学習のアプローチが有効です。一方で、良いモデルを作るために必要なのが、大量のデータです。従って、大量のデータを“活かす”方法が開発されたことで、ビッグデータが注目されたと言えます。

機関連記事|機械学習について詳しく解説した記事はこちらから>>

ビッグデータ活用のメリット

従来では不可能だった分析が可能になる

従来よりもより多くの情報を活用できるということは、より広範囲の分析や発見の可能性に繋がります。

新たなシステムやより利便性の高いサービスの開発にも繋がり、ビッグデータの活用自体はさまざまな分野で有効と言えます。

ビッグデータ活用のデメリット

ビッグデータを活用していくにあたり、デメリットは2つあります。

  1. プライバシー問題
  2. 膨大なデータ管理

以下で詳しく解説していきます。

プライバシー問題

ビッグデータ活用のうえでのひとつの問題点として、プライバシーの問題があげられます。

たとえばSNSでのビッグデータの活用を考えてみましょう。ユーザーがどんな投稿を見ているのか、どんな投稿に「いいね」を押しているかといった情報が膨大なデータとなり、それを分析することで「おすすめの投稿」「おすすめのユーザー」といった欄を提供できるようになります。

こうした流れでSNSの利便性は上がっていきますが、その過程で使われた「どんな投稿を見たか」などの情報は、ユーザーの意識外でビッグデータとして活用されています。ここがプライバシーの問題としてあげられるのです。

膨大なデータの管理

先ほど述べた3Vの定義を見れば分かるように、ビッグデータの情報としての価値やその量は以前のものよりも格段に上と捉えられます。

そうなると、その管理自体がビッグデータ活用の問題のひとつになってきます。バックアップの問題や、それを実行する人材の不足が具体的な問題です。

ビッグデータを活用する方法

ビッグデータを活用する方法としては、3つあります。

  1. Webサービス関連
  2. 需要予測
  3. リアルタイムでの予測

活用方法がわからなければ、うまく扱えません。しっかりと活用方法を理解して、ビッグデータを活用しましょう!

Webサービス関連

問題点も多くあげられるビッグデータの活用ですが、それに鑑みても有りあまる活用の方法があります。

先ほどあげたSNSでのビッグデータ活用もこの中に入りますが、そういったWebサービスでの広告ビジネスなどは、活用方法のひとつです。膨大なデータによってユーザーごとの好みや動向を予測することで、より効率的に興味のある情報を提供することができます。

需要予測

コンビニやスーパーといった身近なものにも、ビッグデータは活用されています。

どの商品がどれくらい売れたかというデータを蓄積することで、顧客にとってどのような傾向の需要があるのかを知ることができます。季節や売れ筋といった情報もかんがみて、仕入れや新たな商品の開発に役立てることができます。

リアルタイムでの予測

ビッグデータ活用では情報を時系列順に並べ、高速で予測を組み立てることもできます。道路状況の整備などがその最たる例です。

「コネクテッドカー」と呼ばれる自動車には通信機能がついており、GPSをはじめとして車輪の回転数などもデータとなります。そのコネクテッドカーから得られた情報をもとにどの地点で渋滞が起こっているかなどを予測できるのです。

ビッグデータのために必要なDX

ビックデータを活用するために必要な取り組みがあります、DX(デジタルトランスフォーメーション)です。

DXとは

ー企業がデジタル環境の激しい変化に対応し、データとデジタル技術を活用して、顧客や社会のニーズを基に、製品やサービス、ビジネスモデルを変革するとともに、業務そのものや、組織、プロセス、企業文化・風土を変革し、競争上の優位性を確立すること
引用:https://www.meti.go.jp/press/2019/07/20190731003/20190731003-1.pdf

データを業務に活用することを考える時に、AIだけが注目されがちです。

確かに、AIを活用することは、業務効率化の観点でも、生産性向上の観点でも、データを収集する観点でも役立つでしょう。

しかし、技術の面でも、データの面でも、お金の面でも、ハイコストな手法です。

AI以前に、できるDXはたくさんあります。技術が目的化しないように、現場の課題に即してDXを進めていくことが大切です。

地道にDXを進めていくことが、最も着実なデータを収集する手段であり、この積み重ねがビッグデータとなります。

関連記事|AIAI言う前にDX!国会がDXを推進する法案を可決>>

ビッグデータとAIの関係性

ビッグデータとAIのかかわり

ビッグデータとAIという2つの分野はそれぞれ注目を浴びていますが、この2つがかけ合わさることにより、可能性がひろがります。

ビッグデータの問題点として、その膨大な情報の管理に手が追いつかないことがあげられました。ですが、AIの導入がこれを解決してくれます。

AIの中でもディープラーニングや機械学習といった分野が発展したことで、以前までは管理のしきれなかった情報の保管、分析が可能になったのです。それに加え、その中から必要な情報のみをピックアップすることもできるようになりました。

課題点も多い

可能性のひろがるビッグデータとAIの活用ですが、課題点もあります。システムの整備はその一例です。今までよりも格段に膨大な量のデータを整理するために、その下地となるシステムの整備が重要になってきます。

また、扱うデータの中には安全に管理せねばならない顧客情報などのデリケートなものも含まれます。外部からの侵入を防ぐために、セキュリティも万全にする必要があります。

ビッグデータとAIを上手くかみ合わせるために、AIのプログラミングをおこなう役職であるデータサイエンティストの不足も課題点のひとつです。特に日本ではビッグデータを扱えるデータサイエンティストが不足していますから、その育成、充実が急務といえます。

ビッグデータの活用事例

実際にビッグデータはどのように使われているのでしょうか。5つの事例を紹介します。

株式会社 xenodata lab.

株式会社xenodata lab.は、大量のニュースを使ったサービスを展開してます。提供するサービス、ニュースや決算情報から意味を認識し、その繋がりを構造化します。企業向けのサービスで、金融機関から事業会社にまで活用できます。

関連記事|記者発表の記事はコチラ>>

株式会社 大創産業

ダイソーは、在庫管理・需要予測でビッグデータを活用しています。2015年からPOS恣意ステムを使って、個店ごとの需要予測をして欠品をなくす「自動発注システム」を導入したとのことです。
参照:https://www.businessinsider.jp/post-192845

株式会社ブレインパット

ブレインパットは、ソーシャルメディア分析を行っています。対象となるのは9,000億のTwitterデータ。

位置情報や言語情報、Tweet内容を分析することで、新たな顧客ニーズを見つけ出しています。
参照:https://ferret-plus.com/9035

株式会社あきんどスシロー

スシローもビッグデータを活用しています。すし皿にチップを貼り付けてデータを収集することで、どの寿司がいつどれくらい食べられたかを蓄積します。これから、どれくらい提供するべきか、予測することが可能なり、寿司の最適化を図っています。
参照:https://nissenad-digitalhub.com/articles/ai-bigdata-usage-japanese-company/

おわりに

ビックデータの収集と活用が、今後も進んでいくことが予想されます。

その中で、単なる量に捕らわれず、使えるデータを集めることが欠かせません。そのためには、データを使うことを前提としてデータを収集する認識が必要です。

あくまでも、技術は手段です。現場の課題解決を目的として、ビッグデータと向き合うことが望まれます。

▼YouTubeでも解説中!

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する

あなたにおすすめの記事

なぜテキスト要約は依然として難しいのか

大解剖!DXで急成長を遂げるヤマト運輸の人事制度

あなたにおすすめの記事

なぜテキスト要約は依然として難しいのか

大解剖!DXで急成長を遂げるヤマト運輸の人事制度