崩壊現実-全てはvirtualに収束する-

この日記について|本棚|ブックマーク|Wiki|ついったー部日記
Twitter用人工無脳http://twitter.com/ha_ma寄付
crochet(凍結中)http://d.hatena.ne.jp/showyou/20000101
twitter bot アンケートhttp://d.hatena.ne.jp/showyou/20091225/1261712029

2011-12-30

今年一年を振り返る

去年も同じ事やってますが、今年も振り返ります


去年もいろいろ動きがあったけど今年もいろいろありました。というかありすぎました。でかいとこで言うと

  • 30になった
  • 転職した
  • 海外行った
  • 大地震食らって歩いて帰った
  • sinsai.infoに参加した

辺りです。


目標を去年、一昨年の結果と比較してみます

GAE
 一応サービス動かしてます。それ以降はあまり触ってないです。Kayは使いやすいのでWebサービスつくるならまた利用してもいいかもしれないですね
並列フレームワーク、KVS
 Hadoop, Cassandraあたり軽く触りますが、結局のとこTokyo Cabinetに落ち着いちゃってます。Kyoto tycoonは便利なのかな?Hadoopはなんか課長がノリ気?っぽいのと並列計算がそろそろ欲しくなってきたのでまた触る可能性高いです
「心」をもった人工無脳へ。連続性が重要
 このへんアバウト過ぎる目標ですが、PRMLに参加してHMMやCRFを知ったり、SIG-WI2でしましませんせいのおはなしを聞いて若干道を見つけたかなぁという気がします。モデルをきちんと作って学習するのがいいでしょうか
なんかしかけたい(仕事関係)
 別に仕掛けたわけじゃないですが無事に復帰できてフル勤務まで戻ってます。これが家族や友人に一番危惧されてた
さらによかったことを書いておきます。
 PRMLに参加したりして、LDAとかガウス分布の基礎とかを知りました
 今年後半はMySQLいじったりして、まだまだですが少し詳しくなりました
一方で今年残念なこともあります
 本の積ん読が多かったです。興味あるもんを少しずつ買っていったからなぁ
 まだ体調が全快はしてなくて、ちょくちょく休んではいます
 後半は仕事に注力してて、なかなかベイジアンとか数学とかに手が出せませんでした
 英語とかまだまだ不自由です。日本語もですが
 最近pythonばかり触ってて馬鹿なアルゴリズムになってて処理の無駄が多いです。後半勉強しようと思ってできてないですね

GAE全然触ってないです。前半AWSは触ってましたが(主にsinsai.info)。Hadoopは自宅でもちょくちょく動かしてましたが転職によりガチで使っています。Pigスクリプトもう見たくない・・人工無脳関連はやる時間あったのに進んでません。自主的にやるのはなかなか進まないですね。外部に発表とかで締め切り決めるかなぁ。仕事は仕掛けました。というかかけられた?年明け早々にエージェントに誘われて震災後に面接して決まりました。今更ですが経歴なんていくらでも偽れるしGithubとかにソース公開したほうが、エンジニア履歴書としてマシらしいです。アルゴリズムとか数学とかあまりやって・・AI-classはやりました。アメリカにも行って英語力上がったか・・と思ったらTOEIC落ちてました。まあ震災TOEIC延期になってそれ以来転職やらで全然勉強してなかったのもありますが。

それを踏まえて来年の目標を挙げます。
 積んでる本を片付ける。でもそれ以上にいろいろ買うだろうけど
 アルゴリズムを勉強する
 TOEICをとりあえず600点目指す其の次は700。できれば海外も行きたい。
しかしもっと全体的に目標立てるとこんな感じでしょうか。
 笑う。今年も比較的ポジティブよりに考えることで物事がいい方向にむかったので、これを続けます
 体調は引き続き気をつける
 もっと他人を信じる。というか少し期待と違ってても認めてあげる

本はまだ積んで読んで繰り返してます。ただ昨年積んでたHadoop本x2は今年やたら役に立ちました。アルゴリズムは考えずに富豪的に回しすぎたので来年は考えます英語TOEIC別にいいとして話したりはできたほうがいいですが、対面にアメリカ人いるので話せばいいだけですね。ポジティブ・・前半はよかったけど終盤はダメダメだったよ!


体調は一応気をつけてて土日は休むのに専念してて勉強会休んだり途中で帰ったりして維持してます。たまに風邪引いたりして寝込んだくらいです。他人を信じる・・ぜんぜんできてなかったなぁ。すいません。


来年目標

あと今年サンフランシスコ・シリコンバレー行きましたがまた海外行きたいです。長時間飛行機乗ると疲れるのでアジアくらいがいいです。台湾とか?北海道にもまた遊びに行きたいです。

2011-12-28

会社にHadoopを入れて、適切に使いこなすための方法

既に導入実績のある会社に転職する


・・は身も蓋も無いので少しまじめに考えますと、Hadoopを入れようと思った場合上司には2パターンの問題が出てきます


1. 「Excelと何が違うの?」という上司

2. 「Hadoop最強!なんでもできるよ!」と過剰な期待を持ってる上司


Excelと何が違うの?という上司

計算時間の違いを説明するといいんじゃないでしょうか。まあ計算時間の説明するならその前にスクリプト言語が出てきそうですが。単発マシンだとどうしても処理できる件数に天井が出てくるので、その辺のデータがあればいいです(GB単位メモリに乗らないレベル)。ところで最近普通マシンでも32GBくらい2万で積めますね。


それと、一般にはあまり知られてないかもしれませんがBIツールを使うのも手かもしれません。


そもそも扱ってるデータ量がHadoopを必要としないのかもしれません。その場合は大量データを扱ってる会社に転職しましょう。


Hadoop最強!なんでもできるよ!」と過剰な期待を持ってる上司

上の上司よりタチが悪いです。自分も詳しくないですが、少なくとも並列で回せるものほど早く、Map->Suffle->Reduce->Mapを繰り返すとものすごく遅いでしょう。できることとできないことをHadoop原理でも交えて説明したほうがいいと思います。用途によってはJubatusなんかがMap繰り返すやつよりでは早いのかもしれません。まだ開発中だけど。


それでも無理やりHadoopねじ込もうとするかもしれません。そんな会社長くないんで転職しましょう。転職先とか下の広告に載ってそうですね。


それか、もしくはid:shiumachiせんせーにお願いすると説明とか行ってくれるかもしれません。


余談ですが、別に自分も軽くHadoop触ってる程度ですが、今のビッグデータの騒ぎ方が若干数年前のクラウドとおんなじような感じで変な印象をもちます

ビッグデータ扱えてよろこぶ→扱いきれずにへこたれるっていう世界がもうすぐやってきそうです。

2011-12-22

StanfordのAI-classを終えました

AI Class Statement of Accomplishment」というメールが来て、Basicクラス合格っぽいメールが来ました。

もともと英語の練習にと自分興味本位で聞いてみたわけですが、印っぽいもの貰えてよかったです。


講義の内容とかどこまで書いていいかからないんでまだあまり書きませんが、難しくはないけど結構大変でした。みっちり丁寧に教えてくれるって感じです。

TOEIC半分くらいしか取れない自分でも受けられたので、みなさんもどんどん受講しましょう!


https://www.ai-class.com/

2011-12-14

JIRA Advent Calendar 13?日目 APIについて

なんか急にmike_neckさんから話振られて「えっ?」と思ううちに日記の日になりまして。

JIRA Advent Calendar 2011 http://atnd.org/events/22899


ホントはもっとちゃんと作りたいものがあるんですが、なかなか急に作り出そうとしても難しいですね。


(ところで私は今年のはじめにプラグイン勉強会を開いた程度にはRedmine派なのですが、大人の都合でJIRAも使っていたりしてます最近はJIRAの方が多いです)


前フリは置いといてJIRAの話として、APIについてでも軽く書いておきます

JIRAにはRESTのAPIがあって、これ使ってデータが取得できますBasic認証とかでもいけるみたいですね。

http://docs.atlassian.com/jira/REST/latest/

例:


こんなチケットのタイトルを取ってみます

$ curl -u user:pass http://site/rest/api/2.0.alpha1/issue/TASK-1

結果

{"expand":"html","self":"http://site/rest/api/2.0.alpha1/issue/TASK-1","key":"TASK-1","fields":{"summary":{"name":"summary","type":"java.lang.String","value":"test1"},(以下略)

perlでも軽く取ってみます。ってかなりインチキなやり方ですが。

use JSON;
my $st=`curl -u sample:sample http://site/rest/api/2.0.alpha1/issue/TASK-1`;
my $data = decode_json($st);
print $data->{fields}->{summary}->{value}."\n";
yuki@squeeze-1:~/jira_api$ perl jira_api.pl
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 3120 0 3120 0 0 22425 0 --:--:-- --:--:-- --:--:-- 22446
test1

チケットのタイトルを取ることが出来ました。


これを使って、RedmineのWorktimeプラグイン*1みたいなものが作れないかと考えています


ここまで失敗したこと

pythonでやる→なぜかBasic認証通らない。Realmの問題?

2011-12-13

減点主義

この国はなんて減点方式が多いのだろうと思うことがある。


普通のコトを普通にこなして100点。挑戦的なことをして成功しても100点。失敗すると50点。


このような場合、人が取るべき最適なことは「失敗しそうなことは何もしない」である。自分から革新的なことを言うなんてもっての外である。


他国はよく知らないが、サムスンだか台湾のHTCあたりの研究チームでは、100回失敗しろという。失敗してもいいから革新的な成果を出せってことだ。


というのを政治家の失言報道とか見てて思う。

筆者:Showyou http://www3.to/showyou