Installing the Apache Drill Sandbox - Apache Drill と Getting to Know the Drill Sandbox - Apache Drillを見ながら、VirtualBoxのインストールされているマシンで http://package.mapr.com/releases/v4.1.0/sandbox/drill/ova/MapR-Sandbox-For-Apache-Drill-1.0.0-4.1.0.ova から仮想アプライアンスをダウンロードしてインポートして起動してみました。
$ ssh mapr@localhost -p 2222 Password: Last login: Fri Jun 26 09:36:54 2015 Welcome to your Mapr Demo virtual machine. [mapr@maprdemo ~]$ ps -ef | grep drill mapr 1973 1 0 09:57 ? 00:00:00 bash /opt/mapr/drill/drill-1.0.0/bin/drillbit.sh internal_start drillbit mapr 2182 1973 6 09:57 ? 00:00:32 /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64/bin/java -Dlog.path=/opt/mapr/drill/drill-1.0.0/logs/drillbit.log -Dlog.query.path=/opt/mapr/drill/drill-1.0.0/logs/drillbit_queries.json -Xms1G -Xmx1G -XX:MaxDirectMemorySize=2G -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=1G -Ddrill.exec.enable-epoll=true -Djava.security.auth.login.config=/opt/mapr/conf/mapr.login.conf -Dzookeeper.sasl.client=false -XX:+CMSClassUnloadingEnabled -XX:+UseG1GC -cp /opt/mapr/drill/drill-1.0.0/conf:/opt/mapr/drill/drill-1.0.0/jars/*:/opt/mapr/drill/drill-1.0.0/jars/ext/*:/opt/mapr/drill/drill-1.0.0/jars/3rdparty/*:/opt/mapr/drill/drill-1.0.0/jars/classb/* org.apache.drill.exec.server.Drillbit mapr 25185 24659 0 10:05 pts/0 00:00:00 grep drill [mapr@maprdemo ~]$
Drillbitいますね。
[mapr@maprdemo ~]$ sqlline apache drill 1.0.0 "the only truly happy people are children, the creative minority and drill users" 0: jdbc:drill:> SELECT * FROM cp.`employee.json` LIMIT 1; +--------------+---------------+-------------+------------+--------------+-----------------+-----------+----------------+-------------+------------------------+----------+----------------+------------------+-----------------+---------+--------------------+ | employee_id | full_name | first_name | last_name | position_id | position_title | store_id | department_id | birth_date | hire_date | salary | supervisor_id | education_level | marital_status | gender | management_role | +--------------+---------------+-------------+------------+--------------+-----------------+-----------+----------------+-------------+------------------------+----------+----------------+------------------+-----------------+---------+--------------------+ | 1 | Sheri Nowmer | Sheri | Nowmer | 1 | President | 0 | 1 | 1961-08-26 | 1994-12-01 00:00:00.0 | 80000.0 | 0 | Graduate Degree | S | F | Senior Management | +--------------+---------------+-------------+------------+--------------+-----------------+-----------+----------------+-------------+------------------------+----------+----------------+------------------+-----------------+---------+--------------------+ 1 row selected (4.577 seconds) 0: jdbc:drill:> Last login: Fri Jun 26 09:36:54 2015 0: jdbc:drill:> !quit Closing: org.apache.drill.jdbc.DrillJdbc41Factory$DrillJdbc41Connection [mapr@maprdemo ~]$
すぐにSQLを実行できました。
次は 政府統計情報 e-Stat を Apache Drill で分析してみる (1) - nagix および政府統計情報 e-Stat を Apache Drill で分析してみる (2) - nagix*1 とか試してみましょかね。
試すお供として「Apache Drill」「平成22年度国勢調査」「データ分析」のメモ。
Apache Drill概要
Apache Drill ではクエリ処理はこんな風に行われる(Hadoop アドベントカレンダー 2013 16日目) - nagix*2
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 201…
apache-drill 8 posts - Qiita
Apache Drill で CSV を SELECT してみる
[レポート]Apache DrillでJSON形式のオープンデータを分析してみる #dbts2015 #be_crazy_about_db_tech | DevelopersIO
国勢調査と政府統計
統計局ホームページ/平成22年国勢調査 ユーザーズガイド
e-Stat
統計局ホームページ/平成22年国勢調査の基本に関するQ&A(回答)
総務省|統計制度|統計法(平成19年法律第53号)
データサイエンス・スクール 統計力向上サイトおよびお役立ちリンク集
国勢調査2015 - ホーム | Facebook
https://play.google.com/store/apps/details?id=jp.go.stat.statapi001
「アプリDe統計」をApp Storeで
総務省 統計局ホームページ
2012年から高校生が学んでいる「データの分析」
学校における統計教育の位置づけ|統計学習の指導のために(先生向け)
高等学校数学I/データの分析 - Wikibooks via 高等学校数学I - Wikibooks
高校数学Ⅰ「データの分析」 - YouTube via StudyDoctor数学Ⅰ アーカイブ - StudyDoctor
*1:Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 … via db tech showcase Tokyo 2015 プレゼンテーションスライド | Insight Technology, Inc.
*2:当時の https://wiki.apache.org/incubator/OptiqProposal は、今 http://calcite.incubator.apache.org/です。興味のある方は XLDB-2015 Conference and WorkshopのBest lightning talksに輝いた Apache Calcite: One planner fits all by Julian Hyde Published on May 21, 2015 のスライドをご覧いただくといいでしょう。