科学と非科学の迷宮

■[雑記]勉強会発表「プログラマのためのHadoop入門」

id:kaigai の主催する勉強会で発表してきました。

答えられなかった質問

• Shuffleフェーズって、ソートをどういう仕組みでやってるの？　データ全部をなめてるの？
  • Partitionerというクラスでデータを振り分けてる。タスクごとは独立してるのでデータをまたがってアクセスすることはないと思う。でも細かいことはちょっとわからない。
• Map中にデータ追加したらどうなるのか？
  • さすがに扱うデータは最初に決めていると思うが、やったことないのでわからない。
• Streamingって具体的にどんな処理してるの？
  • jarファイルは投げてるけど、実行時に使うスクリプトはどうやって投げてるのかわからない。

あとで調べときます。

今の世の中に出てるHadoop本って構築とか運用の話が多いんですよね。

でも、一旦HadoopのインフラができてしまえばMapReduceプログラミングができる技術者の需要は一気に高くなるはずです。

そういうプログラマ向けのHadoop本というのは来年あたり出るかもしれません。

関連記事

• Hadoopリンクまとめ(1)
• 第1回MapReduce本読書会
• Hiveクエリチューニングメモ
• Hadoopソースコードリーディング第6回
• Hadoopモデリング座談会#3
• Hadoopモデリング座談会#2

Permalink | コメント(0) | トラックバック(2) | 21:29