Hatena::ブログ(Diary)

情報通信サービスイノベーションリタラシー このページをアンテナに追加 RSSフィード

2012-03-01 BigDataにまつわる3つのワナ このエントリーを含むブックマーク このエントリーのブックマークコメント

最近では「BigData」というキーワードがとても流行っている。また、「データアナリスト」という業務が注目されている。たしかに昨今のコンピューティングの加速度的な進化やソーシャルメディアによる利用者の日常のデータ収集が出来てきており興味深い分野である。

しかし、この手のアプローチは決して今に始まったわけではないし、「情報爆発」や「Web2.0」と言われていた時代以前からも認識としては持たれていた。いまもてはやしているかたに向けて以下の3つの観点を持って進めていくのをお勧めしたい。

  • BigDataは「宝探し」

たしかに、従来扱えなかったデータが扱えるようになるのは可能性を感じるし、コンピューティングコストが下がったため費用対効果が見込める可能性はある。しかし、一般に多量のデータから価値のある情報を見い出すのは宝探し(Gold Rush)であり、当たるか当たらないかは「掘ってみないとわからない」のである。

このようなアプローチになるのは、データマイニング等の研究やビジネスを進めている人には常識であり、そのような分野はずっと前からダイレクトマーケティング等の目的で実際にやってきていて、宝探し的であることはよく知られている。実際に始める際には、それらの宝探しの確率をどう上げるか(ダウジング)を考えなければいけない。

分析することで盛り上がっているが、過去のさまざまな事例を見ると、むしろ分析した結果を素早く検証することが大事である。ネット系サービスでは、いわゆる「A/Bテスト」と呼ばれる効果測定が行われている。Amazon.comでは、お勧め商品の紹介などで古くから行われているが、分析技術そのものよりも結局ユーザがなにに反応したかをきちんと測定してフィードバックすることが大事だ。

いわゆるデータ分析のひとつとして、協調フィルタリング技術(リンク間推定技術)がAmazon.comに導入されたとき、たしかに興味を持たれた。しかし、ユーザの購買行動をきちんと見ていると、たとえば商品検索結果に画像をつけたり、即購入のボタンをつけたりしたことによる効果が大きかった。

このような知識を知っている人にとっては、ユーザ体感をきちんと測定してフィードバックすることがビジネスには大事であり、A/Bテストの結果を見るだけでも十分な効果を得られる可能性がある(より確実に効果を上げられる)ことを知っている。これを知らないで分析をやり始めると「森を見ない」ことになりかねない。

もし現在データアナリストを目指している人がいるなら、これからは厳しい競争になることを覚悟しておいたほうがいい。昔からデータアナリストをやっていた人々はそこそこいて、さまざまなノウハウをすでに持っている。その人たちが最大限に働ける(アイデアを実行できる)環境さえ作れば十分成果を発揮できる。

なぜなら、コンピューティング能力が上がっているから、指示さえしっかり出来れば処理はアウトソースしてがんがん回すことが出来るからだ。データアナリスト「経験者」はますます価値が上がっていくし、1人いればあとはその人の言う通りやればいいだけだ。

たしかに多少コンピュータエンジニアは必要かもしれないが、それはそういう人材を雇えばいいだけで、データアナリストが望む環境を構築できればあるレベルまではあっというまに到達できる。もしデータアナリストとしてやっていきかったのであれば情報爆発やWeb2.0が出てきた5、6年前にはやっておくべきだっただろう。

上記のことに注意しながら進めれば良い結果を得られる可能性が高まるだろう。