キャンプをやるうえでの、あると超便利なグッズ、ユニークな用途の面白グッズ、最新人気グッズを調べています。
http://q.hatena.ne.jp/1238880971
アウトドアにはそんなに興味ない方ですが、これは気になる。。。
Hadoop環境つくるぞ(その2)
今日は家に帰ってから2時間くらいかけてHadoopの環境づくりをやってみました。環境は以下のような感じ。
- 環境:Apple Macbook MB062J/B(詳細はこのへん)
- メモリを4GBに増設済み
- 仮想化環境:VMware fusion 2.0.2
- ゲストOS:CentOS 5.3
- HDDサイズ:12GB
- RAM:1024MB
- Hadoop:0.18.3
まず、ゲストOSインストールを行いました。CentOSのインストール、ということでVMware側は「Red Hat Enterprise Linux 5」の環境を使うようにしています。作業はスムーズに進み、GUI, サウンドでつまづく事も無くあっさりと終了。Linuxのインストールで躓くとそれだけで日が暮れてしまうので、楽に出来てよかった・・・。
その後、インストール手順が細かく書いてあるCodeZineのサイトを読みながらHadoopの設定を実施。つまらない設定ファイルのミス以外では特に詰まる事もなくこちらもあっさりとHadoopが起動。これだけスムーズに事が運ぶとさすがに気分がいいですね。
で、とりあえずサンプルを起動。。。これもあっさり終了。とりあえず一通り試す事ができたので、作業としてはこれで一段落ということにしました。
Hadoopって結局なんだろね。
サンプルを動かしたものの、まだプログラムコードは書いていないせいか、まだ頭の中がもやもやしています。サンプル動かすのもコマンド一発だったので、今ひとつピンと来ませんでしたし。
とりあえず、定義レベルではこんな感じかな?
- Hadoop Distributed File System : Google File Systemのクローンで、データ管理を担当
- Hadoop MapReduce : MapReduceフレームワークの実装
- hBase : BigTableのクローン
大雑把には「ファイルシステム」「並列プログラミング・フレームワーク」「データベース」みたいに理解すればいいのかな〜とか勝手に思う事にしました(いや、実際にはその「ファイルシステム」と「データベース」の区別が、自分の中で、まだちゃんとついていないわけなんですがorz)。
http://www.ibm.com/developerworks/jp/web/library/j_wa-couchdb03/index.html
http://www.ibm.com/developerworks/jp/linux/library/l-hadoop/index.html
この辺のページを読むと「よくもここまで噛み砕けるもんだなあ」とか思ってしまうわけですが、その一方で「で、なににつかうんですかこれ?」という疑問がまだ取れないのも事実。手続き型→関数型の時のような、パラダイムシフトをしないとこのフレームワーク、使う事すら覚束ないかも。。