近況 Twitter

2006年03月14日(火)

[] グーグル技術講演会

 本日行われた「グーグル技術講演会」に行ってきた。MapReduceやSawzallの話は、Googleが公開しているpaper以上の内容ではなかった感じ。それ以外で記憶に残ったのはこんなところでした。

  • MapReduceを利用して、保管されているWebページ全体に対してとあるクエリーを投げ、終わるまでに半日かからない
  • Googleエンジニアは、社内で利用しているソフトウェアソースコードに自由にアクセスできる
  • 一方で、データは扱えるレベルがあって、たとえば(アクセスログに記録された)IPアドレスは重要な情報だから、扱えるユーザは限られている
    • Sawzallを利用すると、そのへんがうまく隠蔽されている
  • データの力
    • 計算能力が増大すれば、以前は解決が難しかった問題が解けるようになる
    • データが桁違いに増大すれば、以前は解決不可能だった問題が解けるようになる
    • 単に手法を大規模データに適用するのではない。限られたデータでは失敗しそうな手法でも、大量のデータがあればうまくいくことがある

追記 (06/03/25)

 こちらのはてなダイアリーにも結構詳しくログが載っています。

http://d.hatena.ne.jp/akahigeg/20060314#p1

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

トラックバック - http://d.hatena.ne.jp/pekeq/20060314/p1