ビッグデータに至る背景には、ムーアの法則というのがあって、
集積回路上のトランジスタ数は「18か月(=1.5年)ごとに倍になる」
という公式(Wikipediaより引用)があります。それに則ると10年で100倍、20年で10000倍になる、つまりそれだけ大量のデータが処理出来るようになって来たのであり、偶然ではなく、必然、もしくは予見された状況であると言えるでしょう。
これまでは、希少なデータだったので丁寧に取り扱っていたものが、データが膨大になると大胆に扱えるようになります。例えば、小さなライブハウスでコンサートを行うときは、来場者一人一人が「場」を構成する大切な存在ですが、東京ドームでのコンサートではもはや、個の存在は無視出来るくらい影響性が低くなります。
データの保管能力、処理能力が飛躍的に増大するの相まって、データの生成能力も飛躍的に増大しています。例えば、デジタルカメラの画素数が増えるようにセンサー技術が向上する、またはスマートフォンなどのスマート技術の普及でネットワークに接続したカメラやGPSの数がとんでもない事になる、全ての商品が単品管理でPOS情報になる、購買履歴が延々と蓄積される、SNSにせっせとニュースとして行動情報や感性情報を投稿する、こうして世の中にはデータが溢れる、ことになります。
それらの溢れるほどのデータを細かいことを気にせずに贅沢に使い倒すのが最近のデータサイエンスのトレンドとも言えますが、そこには3つの基本があります。
それは「眺める」「比べる」「探る」です。
「眺める」とは、データの全体像を理解することです。それは、「数」「質」「形」によって捉えられるものです。どのくらいの多さなのか、発生源はどこか、なめらかなのか尖っているのかなどまさに眺めて理解する姿です。
「比べる」とは、固有性を理解することです。固有であることがわかると、それは新たな視点の発見ですから、データサイエンスにおいて重要な役割を果たします。
「探る」はデータの背景にある法則や仮説を理解することです。法則や仮説は、アナロジー(類推)やアブダクション(仮説推論)など脳の偶有性と連鎖してイノベーションの源泉となります。
「木を見て森を見ず」ということわざがありますが、
データサイエンスとは、「森を観て林を診て木を視ること」と言い換える事ができるかもしれません。
そこには何かがある