この記事は DataScience Advent Calendar 16日目の記事です。
こんにちは。サービス企画チーム　五十嵐です。
最近一番好きなものは燃えよ唐辛子です。

これはマジでやばいです。
 
さて、タイトルで書いているのですが、最近ビッグデータについて調べるために
総務省発行の情報通信白書を見ていたら、
2017年は「ビッグデータ利活用元年」になる可能性が高いと発表されているのを見つけました。
ビッグデータという言葉はわりかし前からありますよね。
なのに、なぜいまさら総務省は2017年を「ビッグデータ利活用元年」と言っているのでしょうか。
そこでこの記事では、なぜ今年がそう言われているのかを示し、
今年は「データ利活用元年」と言い切れるほど盛り上がったのか、
今後のデータ活用の広がりはどうなるのか、について考えたいと思います。

 
なぜ今、「ビッグデータ利活用元年」なのか？

調べていくと、そう言っているのには４つの理由があることが分かりました。

①データ流通量の拡大

ビッグデータという言葉が生まれたのは2008年ごろで、頻繁に「ビッグデータ」という言葉を見るように
なったのは2011年ころになります。
2008年にビッグデータという言葉が誕生してから、今日に至るまでIT技術の進歩により、
ビッグデータという言葉は広がりを見せました。
ネットワークの高度化やセンサー等の発達によるIoTの実現により、
物理空間とデジタル空間の融合が加速し、それに伴い様々な事象がデータ化されてきました。
実際に、ネットワークを流通するデータ量は飛躍的に増大し、スマートフォン・タブレットの普及や利活用拡大、LTE等の4Gの普及、HD（高精細）映像などの高品質なコンテンツの流通、
医療や政府情報等を含む多様な情報のデジタル化など、
あらゆる要因がデータトラヒック量の増大に寄与しています。

出典：「平成 29 年版情報通信白書」（総務省）
 
上記は日本のデータトラヒックの推移を示したグラフですが、みてみると、ブロードバンドサービス契約者、移動体通信のトラヒック量は毎年増加しており、そのうちダウンロードトラヒックは、
2014年から急激に伸びています。
また、世界的に見てみても2020年までにトラヒック量は増大し続けることが推測されており、
日本だけではなく、世界的にもデータの量が急速に増え続けることが分かります。
これまで業務データ、企業データベースである構造化データを扱っていたのに対し、
今やWebやログ、センサーから得られるデータの方がはるかに扱う量が多くなっています。
 

②データ分析関連サービスの増加

データ分析の用途においてクラウドの活用が進んでおり、AWS、GCPを中心としてクラウドのデータ分析関連サービスが年々充実してきています。
もちろんクラウド以外にも、BIツールや分析処理ソフトなどもここ数年で増えてきていますが、
ここ数年でクラウドにおいてデータ分析関連サービスは格段に充実しました。
分析関連サービスの充実はAWSが抜きん出ていますが、GCPは、データウエアハウス「BigQuery」やAIの機能が突出しています。
BigQueryはAWSのデータウェアハウス「Amazon Athena」と比較しても格段に処理スピードが早いといわれています。
参考：Amazon AthenaをBigQueryと比較してみた
単純なデータ抽出処理や、データサイズが小さい検証パターンではAthenaのほうが速いケースもあるそうですが、データサイズが大きくなるほどAthenaの処理スピードは下がるそうです。
調べていくと、AWSのEC2、S3をはじめとしたサービスを利用を複数使用して分析基盤を構築し、
加えてBigQueryを組み合わせる方法が多く見受けられました。
クラウドよりの話になってしまいましたが、ここでは述べきれないので、誰かがいつか記事にまとめてくれることを信じて次に行きます。
 

③制度環境の整備

今年5月に改正個人情報保護法が全面施行されたのは、記憶に新しいかと思います。
もともと個人情報保護法は2003年に成立していますが、
その後10余年は大きな改正はありませんでした。
情報通信技術の進展により、膨大なデータの収集・分析が可能となり、
個人情報保護法の制定当時には想定されなかったパーソナルデータの利活用ができるようになる中、
いくつか課題が生まれ、それに対応すべく、改正個人情報保護法が生まれました。
主に3つの課題があり、以下のように対応されています。

このように、改正個人情報保護法は、消費者の個人情報の保護を図りつつ、事業者によるパーソナルデータを含むビッグデータの適正かつ円滑な活用を促進させ、新産業・新サービスを創出するための環境を整備
しています。
ひとまずはルール整備が一段落したといったところですが、今後、パーソナルデータの利活用が
進む中で、データの活用で新たな課題が出て来た際には、
法整備に取り組んでいく予定であると伝えています。
 

④オープンデータ化に向けた自治体の取り組み

オープンデータとは、内容は政府や地方公共団体などが保有する公共情報のことであり、
人手をかけずに二次利用が可能です。
行政への透明感・信頼性の向上、様々な新ビジネスの創出や企業活動の効率化等を目的とし、
総務省はオープンデータ化を進めています。
実際、オープンデータ化は進んでおり、オープンデータに関して取り組んでいる自治体の数は2012年は
61だったものの、2016年には3倍以上の230にまで増加しています。

出典：「平成 29 年版情報通信白書」（総務省）
 
具体的な検討や情報収集を行っている自治体も含めると全体の40.8%に上っており、
取り組みへのポテンシャルが拡大していることが分かります。
また、一方で、オープンデータの成果についてはオープンデータに関する取組を推進している自治体
のうち、6割程度が一定以上の成果が上がっているが、約4割では成果が上がっておらず、
なかなか成果が見えにくい取組であるとも報告されています。
 
オープンデータは各自治体HPにて公開されていますが、日本国内で公開しているデータ項目が多いのは、
めがねのまちとして知られる鯖江市です。
DATACITY Sabae |オープンデータ
オープンデータ化含め、鯖江市はアグレッシブな取り組みを多くしている印象がありますが、
アーティストである「レキシ」がサングラス大使になってたのは
アグレッシブがすぎると思いました。そもそもサングラス大使って言葉が強い。
話がそれましたが、オープンデータについて地方自治体のHPを見ていると
必要最低限のデータしかないようなところもあるので、全国的にオープンデータ化が進むと、
よりデータ活用の幅が広がると考えられます。
 

まとめに書いてありました

ここまで4つの理由とか書いておいてちょっと恥ずかしいのですが、情報通信白書の最後にこうありました。

2017年はルール等の環境整備が一定の段階に達し、国内外の議論がピークを迎えると考えられる。
その意味で、本年は「ビッグデータ利活用元年」と位置づけられる。

私の目が死んでただけなのですが、せっかくまとめたので4つ理由があったことにしといてください( ತಎತ)
なお、IoTでは2014年から「今年はIoT元年！」といわれており、
今年も「IoT元年」と言われていましたね。
一体いつまで…
 
 

これからのビッグデータ

「ビッグデータ利活用元年」と言っていることの根拠を紐解いていくと、改正個人情報保護法が施行され、
データについてのルールが整備されたこと、以前よりはデータ分析をするツールやサービスが
充実し、環境が整ったことが大きな理由になると考えられます。
また、以下は情報通信白書内の地方自治体に聞いた、ビッグデータを活用したい分野です。

出典：「平成 29 年版情報通信白書」（総務省）
2年前に比べ、「観光分野」（65.6％）が増加し、最も多くなっています。
過疎地を観光振興するなど観光へのデータ活用の目的は色々と考えられますが、
2020年の東京オリンピックが一番の理由なのではないでしょうか。
セコムの前田修司会長は、「東京オリンピックの警備は3割はガードマン、7割はデータ活用」になると読んでおり、多くの企業が東京オリンピックにむけ、ビッグデータ分析、AI、IoTに取り組んでいることを伝えています。
2020年まであと3年、今を前の三年から比較すると大きな技術革新やそれに伴う環境整備ができたように、2020年には大きく技術開発が進むと予想できます。
IoT元年を飛び越し、「2017年はビッグデータ利活用元年であった」と伝えられるのを期待し、
私は燃えよ唐辛子を食べ続けたいと思います。
 

出典：「平成 29 年版情報通信白書」（総務省）より作成