遅くなりましたが、4/20に第30回TokyoRを開催しました。

• 第30回R勉強会＠東京（#TokyoR） : ATND

内容に関しては、CodeIQさんのご協力でU-NOTEに素晴らしいまとめ記事を作成して頂いたので、そちらをご確認下さい。

• 【CodeIQ提供】データ解析・可視化なら俺らに任せろ！- 第30回R勉強会まとめ #TokyoR-ノート｜U-NOTE【ユーノート】-イベントまとめプラットフォーム

次回は6/1に開催します。

興味のある方は是非ご参加下さい！

- 第31回R勉強会＠東京（#TokyoR） : ATND

RでHadoopを使うパッケージは、RHadoopとかRHIPEとかありますが、

単純にHDFS上のデータを読み書き出来るだけのシンプルなものが欲しかったのでパッケージを作って公開してみました。

• http://crantastic.org/packages/rHadoopClient

JavaとかPigで一次集計したデータをRで読み込む時に使うイメージです。

準備

install.packages("rHadoopClient")
library(rHadoopClient)

HDFS上のデータを読み込む

./tmp/iris にアップしたirisのデータを読み込む

data.hdfs <- read.hdfs("tmp/iris")
names(data.hdfs) <- names(iris)
head(data.hdfs)

##   Sepal.Length Sepal.Width Petal.Length Petal.Width Species
## 1          5.1         3.5          1.4         0.2  setosa
## 2          4.9         3.0          1.4         0.2  setosa
## 3          4.7         3.2          1.3         0.2  setosa
## 4          4.6         3.1          1.5         0.2  setosa
## 5          5.0         3.6          1.4         0.2  setosa
## 6          5.4         3.9          1.7         0.4  setosa

HDFSにデータを書き出す

./tmp/output_irisにデータを書き出す

write.hdfs(iris, "tmp/output_iris")

$ hadoop fs -cat ./tmp/output_iris | head

5.13.51.40.2setosa
4.931.40.2setosa
4.73.21.30.2setosa
4.63.11.50.2setosa
53.61.40.2setosa
5.43.91.70.4setosa
4.63.41.40.3setosa
53.41.50.2setosa
4.42.91.40.2setosa
4.93.11.50.1setosa

Hiveを実行して、その結果を読み込む

irisのデータが入っているiris_tableからのデータ読み込み

data.hive <- read.hive("select * from iris_table")
names(data.hive) <- names(iris)
head(data.hive)

##   Sepal.Length Sepal.Width Petal.Length Petal.Width Species
## 1          5.1         3.5          1.4         0.2  setosa
## 2          4.9         3.0          1.4         0.2  setosa
## 3          4.7         3.2          1.3         0.2  setosa
## 4          4.6         3.1          1.5         0.2  setosa
## 5          5.0         3.6          1.4         0.2  setosa
## 6          5.4         3.9          1.7         0.4  setosa

先日やったRでHTMLレポート配信を、パッケージ化して公開しました！

• [R] knitr+sendmailR でHTMLレポート配信 - yokkunsの日記
• sendmailRで画像付きHTMLメールを送る - yokkunsの日記
• Rでレポートメール

準備

• 修正版sendmailRのインストール

$ git clone git@github.com:yokkuns/sendmailR.git

$ cd sendmailR

$ sudo make install

または、パッケージを作成して普通に、install.packagesでインストール

$ make package

> install.packages("sendmailR_1.1-2.tar.gz")

• インストール

> install.packages("EasyHTMLReport", contriburl=contrib.url("http://cran.r-project.org/"))

• 読み込み

> library(EasyHTMLReport)
 要求されたパッケージ sendmailR をロード中です 
 要求されたパッケージ base64enc をロード中です 
 要求されたパッケージ markdown をロード中です 
 要求されたパッケージ knitr をロード中です 

Rmdファイルの用意

前回作った stock_anomaly_detection_sample.Rmd をそのまま使う

HTMLレポート送信！

> easyHtmlReport(rmd.file="stock_anomaly_detection_sample.Rmd", 
                              from="yokkuns@tkul.jp",
                              to="yokkuns@tkul.jp",
                              subject="EasyHTMLReport Sample1")

結果

こんな感じで、HTMLレポートが届く

告知が大分遅くなってしまいましたが、1/18の#CROSS2013で、

「今日から始まるデータサイエンティスト」というセッションをやらせて頂きます！

• エンジニアサポートCROSS 2013

求めらるデータサイエンティストの人材像や、実際の活用について語るセッションにしたいと思っているので、興味のある方は是非ご参加下さい！

以下、概要です。

セッション概要

セッション１：『活躍するデータサイエンティストの人材像』

近年、データサイエンティストの必要性が熱く取り上げられているが、実際の現場で必要とされる人物像・必要スキルは明確ではない。

今回、実際に分析ビジネスを行う経営・マネジメント陣が、分析現場で必要とされるデータサイエンティストの人物像・必要スキルを徹底議論。明日からデータサイエンティストになりたい方はぜひご参加下さい。

セッション２：『今日から始める データマイニング活用術』

実際のビジネスにデータマイニングを活用するためには単なる分析手法の知識だけでなく、課題・目的に応じた適切な手法を選定・実行・施策活用していくためのノウハウが必要であるが、そのノウハウはあまり知られていない。

今回、各領域の第一線でデータマイニングで活躍しているメンバーが、実ビジネス・サービスでのデータマイニングの活用ノウハウを共有・徹底議論。明日まで待てない！今日からデータマイニングを活用したい人は必見です。

スピーカー

倉橋 一成(@isseing333): セッション1進行

• 合同会社iAnalysis
• An expert on data analysis at Japan's premier university. 【iAnalysis】アイアナリシスの代表・最高解析責任者、「おとうさんの解析日記」。

佐々木 智之(@crkz666)

• 株式会社gumi
• 法人向けプロバイダ事業を展開する企業でネットワーク構築・保守業務に従事した後、PC向け海外ソフトウェアの輸入販売を手がける企業でサイト構築・保守やローカライズを担当。後にポータル事業を展開する企業に買収され、PC向けオンラインゲーム事業の立ち上げを経て2011年9月にgumi入社。主にアプリを開発・運営するスタッフのための仕組み化やシステムを考えたり作ったりしてます。

草野 隆史(@zaakya)

• 株式会社ブレインパッド
• 2004年にデータマイニングに特化したベンチャー「ブレインパッド」を創業し、代表を務めています。御蔭さまで、2011年9月にデータマイニング銘柄としては、初の東証マザーズ上場を実現。メンバーの知的好奇心の探究と、ビジネスの高成長のバランスの実現が経営の至上課題で、日々苦労しております。僕自身は、データマイニングはできましぇん！

益村 勝将(@Masumura187)

• トランスコスモス・アナリティクス株式会社
• 総合アウトソーシング業のトランスコスモスグループで、マーケティング現場に集まるデータを用いたビッグデータ分析サービスを提供しています。昨年トランスコスモス・アナリティクス?を設立し、私はコンサルタント業と業績管理・人事・総務・経理などデータサイエンティスト達の縁の下の力持ちもしています。

西郷 彰

• リクルート株式会社
• 2009年、リクルートに入社。
• 行動ログを使ったレコメンドアルゴリズムの独自開発をはじめとし、ネットマーケティング上の課題を統計解析、機械学習、情報推薦手法で解決する横断組織の立ち上げを行い、現在、多数のプロジェクトを推進中。

里 洋平(@yokkuns): セッション2進行

• 株式会社ディー・エヌ・エー
• DeNAのデータサイエンティスト。 Tokyo.Rの主催者。 確率・統計/パターン認識/機械学習/NLP/画像解析/金融工学などを勉強中。 Rパッケージガイドブックという書籍を執筆しました。http://amzn.to/dM9v0V

上村 崇(@t_uemura)

• 株式会社ALBERT
• ALBERTで社長をしています。分析力をコアとして情報を最適化します。データドリブンのCRMは今世界で一番ホットでセクシーな領域。そのど真ん中を突き進みます。アドテク領域でも独自開発の最適化エンジンでイノベーションを起こし続けます！ http://www.albert2005.co.jp/

濱田 晃一(@hamadakoichi)

• 株式会社ディー・エヌ・エー
• 博士−理論物理（量子統計場の理論）。大規模ソーシャルプラットフォームでデータイニング・機械学習によるサービス洗練。Mahout/Hadoop/Java/R。 Mahout JP 主催者。データマイニング+WEB＠東京 主催者。 HipHopダンス歴15年、毎週末3時間コーチ。

光田 健一(@mitsudaa)

• グリー株式会社

簗島 亮次(@yanashi)

• 株式会社フリークアウト
• 株式会社フリークアウトで数字に関する業務を全般的に行っています。大学時代からネットワーク解析や機械学習の分野でコンテストに参加したり、論文を書いていたりしました。その他にもデータマイニングの可能性を求めて、短歌やビジネスプランのコンテスト・お笑いの放送作家のオーディションなどにデータマイニングを武器に参加していました。

PythonでUDFが書けるので試してみた。

• User Defined Functions

日付の差を計算するUDFを書いてみる

とりあえず、日付の差を計算するUDFを書いてみた。

udf.py

@outputSchemaで、出力のスキーマを書いて、あとは普通に書く。

#!/usr/bin/env python

import time

@outputSchema("datediff:int")
def DateDiff(a,b):
  a_time = time.mktime(time.strptime(a,'%Y-%m-%d'))
  b_time = time.mktime(time.strptime(b,'%Y-%m-%d'))
  return int( (a_time - b_time) / 86400 )

date_diff_sample.pig

Register 'udf.py' using jython as myfuncs って感じで記述すると、Pythonで定義したDateDiff関数を、myfuncs.DateDiffで使う事が出来る。

Register 'udf.py' using jython as myfuncs;

A = load 'dummy';
A = foreach A generate myfuncs.DateDiff('2012-12-12','2012-12-01');
dump A;

• HDFSに適当なdummyファイルを置いておくと、好きなデータを作れるので、こういうのを試すのにとても便利。
  • 参考: Pigで直接データを記述する裏技 - あらびき日記

実行

$ pig -f date_diff_sample.pig

...

(11)

注意点

Pythonで書いたUDFは、カレントディレクトリにそのファイルが無いと動かない。

なので、例えば、以下のような感じで書くとエラーになる。

Register '/path/to/udf.py' using jython as myfuncs;

...

そこで、以下のような簡単なスクリプトを書き、どこからでも作成したUDFを使えるようにする。

• pig-tool

#!/usr/bin/perl -w                                                                                                                                   

use strict;
use Cwd;

my $pig_exec_dir = '/path/to/pig-udf-dir'; # UDFを置いてるディレクトリ
my $wd = Cwd::getcwd();

# -fと-mオプションで指定されたパスが相対パスの場合、絶対パスに書き換える
my @arr;
while (my $opt = shift @ARGV) {
    if( ($opt eq '-m' || $opt eq '-param_file') ||
        ($opt eq '-f' || $opt eq '-file') ){
        my $file = shift @ARGV;
        die ('No exist file: $file') unless -e $file;
        $file = "$wd/$file" unless $file =~ m|^/| || $file =~ m|^~|;
        $opt = "$opt $file";
    }
    push @arr, $opt;
}

# UDFが置いてるディレクトリに移動してpigを実行
chdir $pig_exec_dir;
`pig @arr`;

• 実行

$ pig-tool -f hogehoge.pig

TokyoApache.pigについて

TokyoApache.PigというPigのコミュニティも作成したので、興味のある方は是非ご参加下さい！

年明けくらいから活動したいなと思っています！

• Tokyo.ApachePig | Google Groups