Hatena::ブログ(Diary)

id:lopnor

 

9/3

http://journal.soffritto.org/できたよ 01:17

ということで今後はあっちで更新しますのでよろしくです。ノシ

9/1

うわ何この気持ち悪さ 21:37

ソフリットに関するブログ記事まとめ

なに勝手にやってんの。journal.soffritto.orgを早く作らんといかんな。ちょっと優先度あげよう。

やっと仕事のターン 20:34

昨日あんなこと言ってた割にやっといまスタート

とりあえず昨日と同じコマンド叩いて思い出し。

# hadoop jar hadoop-0.17.0-examples.jar pi 10 100000000
Job Finished in 136.351 seconds
Estimated value of PI is 3.141577908

うしうし。

[]4500m 17:40

久しぶりに夕方に代々木公園に行ってみた。やたら太鼓人口が多くてびっくりした。信号のタイミングが悪くてとりあえず走り続けるために距離が伸びたので4.5km計上。途中で右股関節の内側がちょっと変だった。右太もももちょっと変だった。走り始めは左すね内側がちょっと変だった。ちょっと変、程度だったので走り続けた。帰ってきてシャワー浴びて体重はかったら49.3kg。やっぱちょっと太ったね。→走ったら肩こりがちょっとましになったか。

おは 07:06

夢の中で相加相乗相加相乗ってリフレインしててあんま寝た気がしない。→あけましておめでとうございます。今年も一年がんばりましょう。→という訳でまずはレシートの整理ですかね。→まとめた。疲れた。9月分のシートを作ったのでコンビニに出かけるか。→Time Machineが何回か連続してこけてた。rebootして再チャレンジしたら成功した。やばいやばい。

8/31

という訳で一周年 23:28

株式会社はてな退職して1年。そして株式会社ソフリットの第一期の最終日。やー、早かったなー。あっという間でした。決算関係はまだ締まりきってないのでがんばります。全部確定したら改めてご報告いたします。ひとまず、この一年お世話になった皆様、ありがとうございました!そして、これからもよろしくお願いします!

日曜の夜をちゃんと過ごす 21:14

とりあえずターミナルでなんかやっとくと月曜の朝が違うと思うのですよ。あんしんあんしん。

ec2でhadoopしてみたよ 20:54

というかhttp://codezine.jp/article/detail/2841をまんまコピペしただけなんですけどね。

ec2のアカウント持ってるし使いまくってるよー、という前提で。

  • 飛ばしながら読んで実行したらこけて気づいたんだけど、
    • ec2-add-keypair gsg-keypairはgsg-keypairという名前決め打ちなのでちゃんとやりましょう。
    • EC2_KEYDIR=`dirname "$EC2_PRIVATE_KEY"`ってなってるのでそこにid_rsa-gsg-keypairという名前で保存
  • ./hadoop-ec2 launch-cluster test-cluster 2とするとちゃんと立ち上がった
  • ./hadoop-ec2 login test-clusterログイン
  • おれjava詳しくないんでよくわかんなかったんだけど
    • 記事に書いてある jar hadoop-*-examples.jar pi 10 10000000ではなんかオプションがおかしいと言われるので
    • なおやんの記事を参考にhadoop jar hadoop-0.17.0-examples.jar pi 10 1000000としたら動いた。
      • 追記。訂正。ちゃんとbin/hadoop jar ...って書いてあったね。失礼しました。
[root@domU-**-**-**-**-**-** hadoop-0.17.0]# hadoop jar hadoop-0.17.0-examples.jar pi 10 1000000
08/08/31 07:42:39 WARN fs.FileSystem: "domU-**-**-**-**-**-**.compute-1.internal:50001" is a deprecated filesystem name. Use "hdfs://domU-**-**-**-**-**-**.compute-1.internal:50001/" instead.
Number of Maps = 10 Samples per Map = 1000000
08/08/31 07:42:39 WARN fs.FileSystem: "domU-**-**-**-**-**-**.compute-1.internal:50001" is a deprecated filesystem name. Use "hdfs://domU-**-**-**-**-**-**.compute-1.internal:50001/" instead.
08/08/31 07:42:39 WARN fs.FileSystem: "domU-**-**-**-**-**-**.compute-1.internal:50001" is a deprecated filesystem name. Use "hdfs://domU-**-**-**-**-**-**.compute-1.internal:50001/" instead.
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
08/08/31 07:42:42 WARN fs.FileSystem: "domU-**-**-**-**-**-**.compute-1.internal:50001" is a deprecated filesystem name. Use "hdfs://domU-**-**-**-**-**-**.compute-1.internal:50001/" instead.
08/08/31 07:42:42 INFO mapred.FileInputFormat: Total input paths to process : 10
08/08/31 07:42:43 INFO mapred.JobClient: Running job: job_200808310735_0001
08/08/31 07:42:44 INFO mapred.JobClient:  map 0% reduce 0%
08/08/31 07:42:53 INFO mapred.JobClient:  map 20% reduce 0%
08/08/31 07:42:54 INFO mapred.JobClient:  map 40% reduce 0%
08/08/31 07:42:59 INFO mapred.JobClient:  map 50% reduce 0%
08/08/31 07:43:00 INFO mapred.JobClient:  map 80% reduce 0%
08/08/31 07:43:05 INFO mapred.JobClient:  map 90% reduce 3%
08/08/31 07:43:06 INFO mapred.JobClient:  map 100% reduce 13%
08/08/31 07:43:10 INFO mapred.JobClient:  map 100% reduce 23%
08/08/31 07:43:12 INFO mapred.JobClient:  map 100% reduce 100%
08/08/31 07:43:13 INFO mapred.JobClient: Job complete: job_200808310735_0001
08/08/31 07:43:13 INFO mapred.JobClient: Counters: 16
08/08/31 07:43:13 INFO mapred.JobClient:   File Systems
08/08/31 07:43:13 INFO mapred.JobClient:     Local bytes read=610
08/08/31 07:43:13 INFO mapred.JobClient:     Local bytes written=2430
08/08/31 07:43:13 INFO mapred.JobClient:     HDFS bytes read=1180
08/08/31 07:43:13 INFO mapred.JobClient:     HDFS bytes written=255
08/08/31 07:43:13 INFO mapred.JobClient:   Job Counters 
08/08/31 07:43:13 INFO mapred.JobClient:     Launched map tasks=10
08/08/31 07:43:13 INFO mapred.JobClient:     Launched reduce tasks=1
08/08/31 07:43:13 INFO mapred.JobClient:     Data-local map tasks=10
08/08/31 07:43:13 INFO mapred.JobClient:   Map-Reduce Framework
08/08/31 07:43:13 INFO mapred.JobClient:     Map input records=10
08/08/31 07:43:13 INFO mapred.JobClient:     Map output records=20
08/08/31 07:43:13 INFO mapred.JobClient:     Map input bytes=240
08/08/31 07:43:13 INFO mapred.JobClient:     Map output bytes=320
08/08/31 07:43:13 INFO mapred.JobClient:     Combine input records=0
08/08/31 07:43:13 INFO mapred.JobClient:     Combine output records=0
08/08/31 07:43:13 INFO mapred.JobClient:     Reduce input groups=2
08/08/31 07:43:13 INFO mapred.JobClient:     Reduce input records=20
08/08/31 07:43:13 INFO mapred.JobClient:     Reduce output records=0
Job Finished in 31.607 seconds
Estimated value of PI is 3.1414068
  • 結果がどこにあるのかはまだ知らない。
    • あ!最後の行か!!
  • hadoop-ec2はbashなので読めばなにしてるかわかります。
[danjou@luisa] $ ./hadoop-ec2
Usage: hadoop-ec2 COMMAND
where COMMAND is one of:
  list                                 list all running Hadoop EC2 clusters
  launch-cluster <group> <num slaves>  launch a cluster of Hadoop EC2 instances - launch-master then launch-slaves
  launch-master  <group>               launch or find a cluster master
  launch-slaves  <group> <num slaves>  launch the cluster slaves
  terminate-cluster                    terminate all Hadoop EC2 instances
  login  <group|instance id>           login to the master node of the Hadoop EC2 cluster
  screen <group|instance id>           start or attach 'screen' on the master node of the Hadoop EC2 cluster
  proxy  <group|instance id>           start a socks proxy on localhost:6666 (use w/foxyproxy)
  push   <group> <file>                scp a file to the master node of the Hadoop EC2 cluster
  <shell cmd> <group|instance id>      execute any command remotely on the master
  create-image                         create a Hadoop AMI
  • ./hadoop-ec2 terminate-cluster test-clusterでばいにゃん。

最後の肝心な所が会員登録しないと読めないあたりがうんぬん。こういう情報を出し惜しみする意味が分からんけど。まあいいや。ほんとに使えるようになるためにはいろいろもっとやらないとだめだとは思うけど、とりあえず一度使ってみるって大事よね。よっしゃー。次はhadoop-streamingでログ解析やー。

やっぱり今晩も雨ですなー 19:41

昼間っから気にしてたけどちゃんと洗濯干せてよかったわ。→あー。遠雷を聞いてるとオネアミスが見たくなるのはおっさんですよね。

atogoatogo 2008/09/01 22:50 はい。

lopnorlopnor 2008/09/01 22:53 やっぱりかー。