Hatena::ブログ(Diary)

wmo6hash::blog このページをアンテナに追加 RSSフィード Twitter

2015/07/31(Fri)

[]仮想アプライアンス VoltDB VMWare Image - VoltDB 5.4 Demo on Ubuntu 14.04

http://voltdb.com/run-voltdb-vmware からVoltDB Demo VMWare Imageをダウンロードしてみました。今は 1.54GBの VoltDB-Ubuntu-x64-14.04-LTS-v5.4-Demo.zipでした。

任意のディレクトリunzipしてみました。全部で6GB程度のファイル群でした。

VMware Playerで作成されたファイルの中から VoltDB-Ubuntu-x64-14.04.1-LTS.vmxを開きました。そしてメモリ2GBと2つのCPU仮想マシンを起動してみると、こんな感じ。

f:id:wmo6hash:20150801061625p:image

Terminalを起動すると、こんな感じ。

f:id:wmo6hash:20150801061626p:image

:: Welcome to the VoltDB VMware Demo ::

Please visit http://voltdb.com for more information.

~/voltdb/examples has various runnable samples in separate subdirectories.

Useful commands in  ~/voltdb/bin (see documentation):
  Database startup             voltdb create ...
  Database administration      voltadmin COMMAND ...
  Interactive SQL interpreter  sqlcmd

Command Help:
  General voltdb usage  voltdb -h
  Administration        voltadmin help [COMMAND]
  SQL interpreter       sqlcmd --help

Documentation:
  "VoltDB Tutorial"      http://voltdb.com/docs/tutorial/
  "Using VoltDB"         http://voltdb.com/docs/UsingVoltDB/

Quick example:
  $ cd voter
  $ voltdb create &  # (start VoltDB in the background)
  $ sqlcmd < ddl.sql # (load the schema and procedures)
  $ ./run.sh client  # (run the sample client for 2 minutes)
  $ kill %1          # (kill the background server)

voltdb@ubuntu:~/voltdb/examples$ 

ここに書かれていることを、ちょっとやってみます。

voltdb@ubuntu:~/voltdb/examples$ cd voter
voltdb@ubuntu:~/voltdb/examples/voter$ voltdb create & 
[1] 26295
voltdb@ubuntu:~/voltdb/examples/voter$ Initializing VoltDB...

 _    __      ____  ____  ____ 
| |  / /___  / / /_/ __ \/ __ )
| | / / __ \/ / __/ / / / __  |
| |/ / /_/ / / /_/ /_/ / /_/ / 
|___/\____/_/\__/_____/_____/

--------------------------------

Build: 5.4 voltdb-5.4-0-g4a2c380-local Enterprise Edition
Connecting to VoltDB cluster as the leader...
Host id of this node is: 0
Starting VoltDB with trial license. License expires on Aug 24, 2015.
Initializing the database and command logs. This may take a moment...
WARN: This is not a highly available cluster. K-Safety is set to 0.
Server completed initialization.

voltdb@ubuntu:~/voltdb/examples/voter$ 
voltdb@ubuntu:~/voltdb/examples/voter$ sqlcmd < ddl.sql

FILE -inlinebatch END_OF_BATCH


-- contestants table holds the contestants numbers (for voting) and names
CREATE TABLE contestants
(
  contestant_number integer     NOT NULL
, contestant_name   varchar(50) NOT NULL
, CONSTRAINT PK_contestants PRIMARY KEY
  (
    contestant_number
  )
);

-- votes table holds every valid vote.
--   voters are not allowed to submit more than <x> votes, x is passed to client application
CREATE TABLE votes
(
  phone_number       bigint     NOT NULL
, state              varchar(2) NOT NULL
, contestant_number  integer    NOT NULL
);

PARTITION TABLE votes ON COLUMN phone_number;

-- Map of Area Codes and States for geolocation classification of incoming calls
CREATE TABLE area_code_state
(
  area_code smallint   NOT NULL
, state     varchar(2) NOT NULL
, CONSTRAINT PK_area_code_state PRIMARY KEY
  (
    area_code
  )
);

-- rollup of votes by phone number, used to reject excessive voting
CREATE VIEW v_votes_by_phone_number
(
  phone_number
, num_votes
)
AS
   SELECT phone_number
        , COUNT(*)
     FROM votes
 GROUP BY phone_number
;

-- rollup of votes by contestant and state for the heat map and results
CREATE VIEW v_votes_by_contestant_number_state
(
  contestant_number
, state
, num_votes
)
AS
   SELECT contestant_number
        , state
        , COUNT(*)
     FROM votes
 GROUP BY contestant_number
        , state
;


Batch command succeeded.

LOAD CLASSES voter-procs.jar;
Command succeeded.

FILE -inlinebatch END_OF_2ND_BATCH


-- stored procedures
CREATE PROCEDURE FROM CLASS voter.Initialize;
CREATE PROCEDURE FROM CLASS voter.Results;
CREATE PROCEDURE PARTITION ON TABLE votes COLUMN phone_number FROM CLASS voter.Vote;
CREATE PROCEDURE FROM CLASS voter.ContestantWinningStates;
CREATE PROCEDURE FROM CLASS voter.GetStateHeatmap;


Batch command succeeded.

voltdb@ubuntu:~/voltdb/examples/voter$ 
voltdb@ubuntu:~/voltdb/examples/voter$ ./run.sh client 
--------------------------------------------------------------------------------
 Command Line Configuration
--------------------------------------------------------------------------------

contestants = 6
displayinterval = 5
duration = 120
latencyreport = false
maxvotes = 2
password = 
ratelimit = 2000000
servers = localhost:21212
statsfile = 
user = 
warmup = 5

--------------------------------------------------------------------------------
 Setup & Initialization
--------------------------------------------------------------------------------

Connecting to VoltDB...
Connected to VoltDB node at: localhost:21212.

Populating Static Tables

--------------------------------------------------------------------------------
 Starting Benchmark
--------------------------------------------------------------------------------

Warming up...

Running benchmark...
00:00:05 Throughput 5670/s, Aborts/Failures 0/0
00:00:10 Throughput 20858/s, Aborts/Failures 0/0
00:00:15 Throughput 19777/s, Aborts/Failures 0/0
00:00:20 Throughput 13813/s, Aborts/Failures 0/0
00:00:25 Throughput 12005/s, Aborts/Failures 0/0
00:00:30 Throughput 15606/s, Aborts/Failures 0/0
00:00:35 Throughput 11873/s, Aborts/Failures 0/0
00:00:40 Throughput 16318/s, Aborts/Failures 0/0
00:00:45 Throughput 19034/s, Aborts/Failures 0/0
00:00:50 Throughput 14023/s, Aborts/Failures 0/0
00:00:55 Throughput 20024/s, Aborts/Failures 0/0
00:01:00 Throughput 18939/s, Aborts/Failures 0/0
00:01:05 Throughput 22338/s, Aborts/Failures 0/0
00:01:10 Throughput 21890/s, Aborts/Failures 0/0
00:01:15 Throughput 28782/s, Aborts/Failures 0/0
00:01:20 Throughput 29691/s, Aborts/Failures 0/0
00:01:25 Throughput 24528/s, Aborts/Failures 0/0
00:01:30 Throughput 35534/s, Aborts/Failures 0/0
00:01:35 Throughput 40587/s, Aborts/Failures 0/0
00:01:40 Throughput 35846/s, Aborts/Failures 0/0
00:01:45 Throughput 38548/s, Aborts/Failures 0/0
00:01:50 Throughput 45244/s, Aborts/Failures 0/0
00:01:55 Throughput 42410/s, Aborts/Failures 0/0
00:02:00 Throughput 43027/s, Aborts/Failures 0/0

--------------------------------------------------------------------------------
 Voting Results
--------------------------------------------------------------------------------

A total of 2,982,362 votes were received during the benchmark...
 - 2,952,757 Accepted
 -    29,603 Rejected (Invalid Contestant)
 -         2 Rejected (Maximum Vote Count Reached)
 -         0 Failed (Transaction Error)

Contestant Name		Votes Received
Edwina Burnam		       753,496
Jessie Eichman		       621,932
Alana Bregman		       447,324
Kelly Clauss		       392,582
Tabatha Gehling		       378,407
Jessie Alloway		       372,479

The Winner is: Edwina Burnam

--------------------------------------------------------------------------------
 Client Workload Statistics
--------------------------------------------------------------------------------

Average throughput:               24,838 txns/sec
voltdb@ubuntu:~/voltdb/examples/voter$ 

ちょっとつまらないので、もう少し。

voltdb@ubuntu:~/voltdb/examples/voter$ sqlcmd
SQL Command :: localhost:21212
1> list tables

--- User Tables --------------------------------------------
AREA_CODE_STATE
CONTESTANTS
VOTES


--- User Views --------------------------------------------
V_VOTES_BY_CONTESTANT_NUMBER_STATE
V_VOTES_BY_PHONE_NUMBER


--- User Export Streams --------------------------------------------


3> select * from votes;
VOLTDB ERROR: SQL ERROR
  Output from SQL stmt overflowed output/network buffer of 50mb (-32k for message headers). Try a "limit" clause or a stronger predicate.
4> select count(*) from votes;
C1      
--------
 2966220

(Returned 1 rows in 0.07s)
6> exit

voltdb@ubuntu:~/voltdb/examples$ voltdb --version
voltdb version 5.4
voltdb@ubuntu:~/voltdb/examples$ 
voltdb@ubuntu:~/voltdb/examples/voter$ ps -ef | grep VoltDB
voltdb   26295 26277 11 16:24 pts/0    00:03:17 /usr/bin/java -Xmx2048m -server -Djava.awt.headless=true -Dsun.net.inetaddr.ttl=300 -Dsun.net.inetaddr.negative.ttl=3600 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseTLAB -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCondCardMark -Dsun.rmi.dgc.server.gcInterval=9223372036854775807 -Dsun.rmi.dgc.client.gcInterval=9223372036854775807 -XX:CMSWaitDuration=120000 -XX:CMSMaxAbortablePrecleanTime=120000 -XX:+ExplicitGCInvokesConcurrent -XX:+CMSScavengeBeforeRemark -XX:+CMSClassUnloadingEnabled -XX:PermSize=64m -Dlog4j.configuration=file:///home/voltdb/voltdb-ent-5.4/voltdb/log4j.xml -Djava.library.path=dummyvalue -classpath /home/voltdb/voltdb-ent-5.4/voltdb/voltdb-5.4.jar:/home/voltdb/voltdb-ent-5.4/lib/protobuf-java-2.5.0.jar:/home/voltdb/voltdb-ent-5.4/lib/commons-lang3-3.0.jar:/home/voltdb/voltdb-ent-5.4/lib/super-csv-2.1.0.jar:/home/voltdb/voltdb-ent-5.4/lib/avro-1.7.7.jar:/home/voltdb/voltdb-ent-5.4/lib/jsch-0.1.51.jar:/home/voltdb/voltdb-ent-5.4/lib/jetty-http-7.6.1.v20120215.jar:/home/voltdb/voltdb-ent-5.4/lib/jetty-server-7.6.1.v20120215.jar:/home/voltdb/voltdb-ent-5.4/lib/httpcore-4.3.2.jar:/home/voltdb/voltdb-ent-5.4/lib/metrics-core-2.2.0.jar:/home/voltdb/voltdb-ent-5.4/lib/httpcore-nio-4.3.2.jar:/home/voltdb/voltdb-ent-5.4/lib/groovy-all-2.1.7-indy.jar:/home/voltdb/voltdb-ent-5.4/lib/slf4j-nop-1.6.2.jar:/home/voltdb/voltdb-ent-5.4/lib/jetty-util-7.6.1.v20120215.jar:/home/voltdb/voltdb-ent-5.4/lib/servlet-api-2.5.jar:/home/voltdb/voltdb-ent-5.4/lib/httpclient-4.3.2.jar:/home/voltdb/voltdb-ent-5.4/lib/snappy-java-1.1.0.1.jar:/home/voltdb/voltdb-ent-5.4/lib/commons-cli-1.2.jar:/home/voltdb/voltdb-ent-5.4/lib/scala-library.jar:/home/voltdb/voltdb-ent-5.4/lib/felix.jar:/home/voltdb/voltdb-ent-5.4/lib/httpasyncclient-4.0.1.jar:/home/voltdb/voltdb-ent-5.4/lib/kafka_2.8.0-0.8.1.jar:/home/voltdb/voltdb-ent-5.4/lib/jackson-core-asl-1.9.13.jar:/home/voltdb/voltdb-ent-5.4/lib/log4j-1.2.16.jar:/home/voltdb/voltdb-ent-5.4/lib/jetty-io-7.6.1.v20120215.jar:/home/voltdb/voltdb-ent-5.4/lib/jna.jar:/home/voltdb/voltdb-ent-5.4/lib/slf4j-api-1.6.2.jar:/home/voltdb/voltdb-ent-5.4/lib/tomcat-jdbc.jar:/home/voltdb/voltdb-ent-5.4/lib/jackson-mapper-asl-1.9.13.jar:/home/voltdb/voltdb-ent-5.4/lib/commons-logging-1.1.3.jar:/home/voltdb/voltdb-ent-5.4/lib/jetty-continuation-7.6.1.v20120215.jar:/home/voltdb/voltdb-ent-5.4/lib/commons-codec-1.6.jar:/home/voltdb/voltdb-ent-5.4/lib/tomcat-juli.jar:/home/voltdb/voltdb-ent-5.4/lib/jline-2.10.jar:/home/voltdb/voltdb-ent-5.4/lib/extension/voltdb-rabbitmq.jar org.voltdb.VoltDB create host localhost:3021
voltdb   27281 26277  0 16:53 pts/0    00:00:00 grep --color=auto VoltDB
voltdb@ubuntu:~/voltdb/examples/voter$ kill %1
voltdb@ubuntu:~/voltdb/examples/voter$ WARN: The VoltDB server will shut down due to a control-C or other JVM exit.

[1]+  Exit 143                voltdb create
voltdb@ubuntu:~/voltdb/examples/voter$ ps -ef | grep VoltDB
voltdb   27288 26277  0 16:54 pts/0    00:00:00 grep --color=auto VoltDB
voltdb@ubuntu:~/voltdb/examples/voter$ 

今日のところは、これまで。

2015/06/26(Fri)

[]仮想アプライアンス Drill Sandbox 1.0 - MapR 4.1.0 Sandbox with Apache Drill 1.0

Installing the Apache Drill Sandbox - Apache DrillGetting to Know the Drill Sandbox - Apache Drillを見ながら、VirtualBoxインストールされているマシンで http://package.mapr.com/releases/v4.1.0/sandbox/drill/ova/MapR-Sandbox-For-Apache-Drill-1.0.0-4.1.0.ova から仮想アプライアンスダウンロードしてインポートして起動してみました。


f:id:wmo6hash:20150627025057p:image:w640


$ ssh mapr@localhost -p 2222
Password:
Last login: Fri Jun 26 09:36:54 2015
Welcome to your Mapr Demo virtual machine.
[mapr@maprdemo ~]$ ps -ef | grep drill
mapr      1973     1  0 09:57 ?        00:00:00 bash /opt/mapr/drill/drill-1.0.0/bin/drillbit.sh internal_start drillbit
mapr      2182  1973  6 09:57 ?        00:00:32 /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64/bin/java -Dlog.path=/opt/mapr/drill/drill-1.0.0/logs/drillbit.log -Dlog.query.path=/opt/mapr/drill/drill-1.0.0/logs/drillbit_queries.json -Xms1G -Xmx1G -XX:MaxDirectMemorySize=2G -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=1G -Ddrill.exec.enable-epoll=true -Djava.security.auth.login.config=/opt/mapr/conf/mapr.login.conf -Dzookeeper.sasl.client=false -XX:+CMSClassUnloadingEnabled -XX:+UseG1GC -cp /opt/mapr/drill/drill-1.0.0/conf:/opt/mapr/drill/drill-1.0.0/jars/*:/opt/mapr/drill/drill-1.0.0/jars/ext/*:/opt/mapr/drill/drill-1.0.0/jars/3rdparty/*:/opt/mapr/drill/drill-1.0.0/jars/classb/* org.apache.drill.exec.server.Drillbit
mapr     25185 24659  0 10:05 pts/0    00:00:00 grep drill
[mapr@maprdemo ~]$ 

Drillbitいますね。


[mapr@maprdemo ~]$ sqlline
apache drill 1.0.0
"the only truly happy people are children, the creative minority and drill users"
0: jdbc:drill:> SELECT * FROM cp.`employee.json` LIMIT 1;
+--------------+---------------+-------------+------------+--------------+-----------------+-----------+----------------+-------------+------------------------+----------+----------------+------------------+-----------------+---------+--------------------+
| employee_id  |   full_name   | first_name  | last_name  | position_id  | position_title  | store_id  | department_id  | birth_date  |       hire_date        |  salary  | supervisor_id  | education_level  | marital_status  | gender  |  management_role   |
+--------------+---------------+-------------+------------+--------------+-----------------+-----------+----------------+-------------+------------------------+----------+----------------+------------------+-----------------+---------+--------------------+
| 1            | Sheri Nowmer  | Sheri       | Nowmer     | 1            | President       | 0         | 1              | 1961-08-26  | 1994-12-01 00:00:00.0  | 80000.0  | 0              | Graduate Degree  | S               | F       | Senior Management  |
+--------------+---------------+-------------+------------+--------------+-----------------+-----------+----------------+-------------+------------------------+----------+----------------+------------------+-----------------+---------+--------------------+
1 row selected (4.577 seconds)
0: jdbc:drill:> Last login: Fri Jun 26 09:36:54 2015
0: jdbc:drill:> !quit
Closing: org.apache.drill.jdbc.DrillJdbc41Factory$DrillJdbc41Connection



[mapr@maprdemo ~]$

すぐにSQLを実行できました。


次は 政府統計情報 e-Stat を Apache Drill で分析してみる (1) - nagix および政府統計情報 e-Stat を Apache Drill で分析してみる (2) - nagix*1 とか試してみましょかね。


試すお供として「Apache Drill」「平成22年度国勢調査」「データ分析」のメモ。


Apache Drill概要

Apache Drill ではクエリ処理はこんな風に行われる(Hadoop アドベントカレンダー 2013 16日目) - nagix*2

Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 201…

apache-drill 4 posts - Qiita

Apache Drill で CSV を SELECT してみる

[レポート]Apache DrillでJSON形式のオープンデータを分析してみる #dbts2015 #be_crazy_about_db_tech | Developers.IO


国勢調査と政府統計

統計局ホームページ/平成22年国勢調査 ユーザーズガイド

e-Stat

統計局ホームページ/平成22年国勢調査の基本に関するQ&A(回答)

総務省|統計制度|統計法(平成19年法律第53号)

データサイエンス・スクール 統計力向上サイトおよびお役立ちリンク集

国勢調査2015 | Facebook

アプリDe統計 - Google Play の Android アプリ

iTunes の App Store で配信中の iPhone、iPod touch、iPad 用 アプリDe統計

総務省 統計局ホームページ


2012年から高校生が学んでいる「データの分析」

学校における統計教育の位置づけ|統計学習の指導のために(先生向け)

高等学校数学I/データの分析 - Wikibooks via 高等学校数学I - Wikibooks

高校数学?「データの分析」 - YouTube via StudyDoctor数学? アーカイブ - StudyDoctor

2015/05/30(Sat)

[]仮想アプライアンス Trafodion 1.1 Sandbox

Trafodion 1.1 Sandboxは、Trafodionと Trafodionを動かすためのHBaseをはじめとした各Hadoop servicesが使える仮想アプライアンスです。

CentOSとHortonworks Data PlatformとTrafodionがインストールされていて、Installing the Trafodion Sandbox - Trafodion open source software project に添ってインポート後に仮想マシンを起動して使えます。

数日前にダウンロードできるようになりました。

f:id:wmo6hash:20150530160833p:image:w360

VirtualBoxで こんな風に触ってみるまでの作業中、ちょっと「ん?」と思ったところがあったので、そのことを書いておきます。


8GBメモリと 4プロセッサにして動かしてみました

Checking System Resources

To run the Trafodion sandbox successfully, you will need at least 16 GB of memory on your PC. The sandbox uses about 5 GB of memory while the Hadoop services and Trafodion are running, so make sure that you have enough available memory on your PC to support those processes. Otherwise, the sandbox will operate very slowly.

Installing the Trafodion Sandbox - Trafodion open source software project

とのこと。*1

f:id:wmo6hash:20150530160831p:image:w360

デフォルトでは 16GBメモリと8プロセッサです。

f:id:wmo6hash:20150530160832p:image:w360

こんな風に8GBメモリと 4プロセッサへ変えて起動しました。

ちょっと触ってみる分には特に不都合はなかったです。


ログイン後は Ambari Serverを起動する必要がありました

[trafodion@sandbox ~]$ su - root
Password: 
[root@sandbox ~]# ambari-server start
Using python  /usr/bin/python2.6
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.
[root@sandbox ~]# 

dcs.dns.interfaceの設定変更は必要ありませんでした

[trafodion@sandbox ~]$ ifconfig
eth0      Link encap:Ethernet  HWaddr 08:00:27:23:4E:D7  
          inet addr:10.0.2.15  Bcast:10.0.2.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe23:4ed7/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:40155 errors:0 dropped:0 overruns:0 frame:0
          TX packets:21789 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:55944491 (53.3 MiB)  TX bytes:1447785 (1.3 MiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:211169 errors:0 dropped:0 overruns:0 frame:0
          TX packets:211169 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:406772380 (387.9 MiB)  TX bytes:406772380 (387.9 MiB)

[trafodion@sandbox ~]$ more $MY_SQROOT/dcs*/conf/dcs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
/**
  *(C) Copyright 2013 Hewlett-Packard Development Company, L.P.
  *
  * Licensed under the Apache License, Version 2.0 (the "License");
  * you may not use this file except in compliance with the License.
  * You may obtain a copy of the License at
  *
  *     http://www.apache.org/licenses/LICENSE-2.0
  *
  * Unless required by applicable law or agreed to in writing, software
  * distributed under the License is distributed on an "AS IS" BASIS,
  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  * See the License for the specific language governing permissions and
  * limitations under the License.
  */
-->
<!--
/**
 * Copyright 2010 The Apache Software Foundation
 *
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
-->
<configuration>
  <property>
    <name>dcs.zookeeper.quorum</name>
    <value>sandbox</value>
  </property>
   <property>
    <name>dcs.dns.interface</name>
    <value>eth0</value>
  </property>
</configuration>
[trafodion@sandbox ~]$ 

TEST1表は あらかじめ作成され2行データが入っていました

[trafodion@sandbox ~]$ cds
[trafodion@sandbox scripts]$ sqstart
Checking orphan processes.
Removing old mpijob* files from /home/trafodion/trafodion-1.1.0/tmp

Removing old monitor.port* files from /home/trafodion/trafodion-1.1.0/tmp

Executing sqipcrm (output to sqipcrm.out)
Starting the SQ Environment (Executing /home/trafodion/trafodion-1.1.0/sql/scripts/gomon.cold)
Background SQ Startup job (pid: 30223)

# of SQ processes: 15 .
SQ Startup script (/home/trafodion/trafodion-1.1.0/sql/scripts/gomon.cold) ran successfully. Performing further checks...
Checking if processes are up.
Checking attempt: 1; user specified max: 2. Execution time in seconds: 0.

The SQ environment is up!


Process		Configured	Actual	    Down
-------		----------	------	    ----
DTM		2		2	    
RMS		4		4	    
MXOSRVR		2		0	    2

Fri May 29 21:54:55 PDT 2015
/home/trafodion/trafodion-1.1.0/dcs-1.1.0/bin/start-dcs.sh found.
Starting the DCS environment now
starting master, logging to /home/trafodion/trafodion-1.1.0/dcs-1.1.0/bin/../logs/dcs-trafodion-1-master-sandbox.out
sandbox: starting server, logging to /home/trafodion/trafodion-1.1.0/dcs-1.1.0/bin/../logs/dcs-trafodion-1-server-sandbox.out
Checking if processes are up.
Checking attempt: 1; user specified max: 2. Execution time in seconds: 1.

The SQ environment is up!


Process		Configured	Actual	    Down
-------		----------	------	    ----
DTM		2		2	    
RMS		4		4	    
MXOSRVR		2		0	    2

Starting lob server processes
Successfully started $zlobsrv0
Successfully started $zlobsrv1
/home/trafodion/trafodion-1.1.0/rest-1.1.0/bin/start-rest.sh found.
Starting the REST environment now
starting rest, logging to /home/trafodion/trafodion-1.1.0/rest-1.1.0/bin/../logs/rest-trafodion-1-rest-sandbox.out

You can monitor the SQ shell log file : /home/trafodion/trafodion-1.1.0/logs/sqmon.log


Startup time  0 hour(s) 1 minute(s) 16 second(s)
[trafodion@sandbox scripts]$ sqcheck
Checking if processes are up.
Checking attempt: 1; user specified max: 2. Execution time in seconds: 0.

The SQ environment is up!


Process		Configured	Actual	    Down
-------		----------	------	    ----
DTM		2		2	    
RMS		4		4	    
MXOSRVR		2		2	    

[trafodion@sandbox scripts]$ cd ..
[trafodion@sandbox sql]$ cd ..
[trafodion@sandbox trafodion-1.1.0]$ sqlci
Trafodion Conversational Interface 1.1.0
(c) Copyright 2014 Hewlett-Packard Development Company, LP.
>>get version of software
+>;

  System Version 1.1.0. Expected Version 1.1.0.
  Software is current.

--- SQL operation complete.
>>get version of metadata;

  Current Version 1.1.0. Expected Version 1.1.0.
  Metadata is current.

--- SQL operation complete.
>>create table test1 (f1 int, f2 int);

*** ERROR[1390] Object TRAFODION.SEABASE.TEST1 already exists in Trafodion.

--- SQL operation failed with errors.
>>get tables;

Tables in Schema TRAFODION.SEABASE
==================================

TEST1

--- SQL operation complete.
>>select * from test1;

F1           F2         
-----------  -----------

          1            1
          2            2

--- 2 row(s) selected.
>>exit;

End of MXCI Session

[trafodion@sandbox trafodion-1.1.0]$ 



その他 今月の Trafodionトピック

4:10pm - 4:50pm

Trafodion: Integrating Operational SQL into HBase

Trafodion, open sourced by HP, reflects 20+ years of investment in a full-fledged RDBMS built on Tandem's OLTP heritage and geared towards a wide set of mixed query workloads. In this talk, we will discuss how HP integrated Trafodion with HBase to take full advantage of the Trafodion database engine and the HBase storage engine, covering 3-tier architecture, storage, salting/partitioning, data movement, and more.

HBaseCon 2015

5pm - 5:40pm

SQL-on-HBase Smackdown: Panel

Nothing is hotter than SQL-on-Hadoop, and now SQL-on-HBase is fast approaching equal hotness status. In this panel, a panel of developers deeply involved in this effort will discuss the work done so far across the ecosystem and the work still to be done.

HBaseCon 2015

Thursday, May 7, 2015, at the Westin St. Francisにて開催された HBaseCon 2015 Ecosystemトラックにて 2つ関連セッションがあったようです。録画やスライドが HBaseCon 2015 Archivesに載るのが待ち遠しいです。


あらためて Apache Incubatorプロジェクトとして始動したようです。


2015/06/28追記

HBaseCon 2015でのセッションの録画やスライドが公開されています。

HBaseCon 2015: Trafodion - Integrating Operational SQL into HBase from HBaseCon Published on Jun 05, 2015

HBaseCon 2015: Trafodion; Integrating Operational SQL into HBase from Cloudera on Vimeo. 2015年5月18日月曜日 16:47公開

Trafodion, open sourced by HP, reflects 20+ years of investment in a full-fledged RDBMS built on Tandem's OLTP heritage and geared towards a wide set of mixed query workloads. In this talk, we will discuss how HP integrated Trafodion with HBase to take full advantage of the Trafodion database engine and the HBase storage engine, covering 3-tier architecture, storage, salting/partitioning, data movement, and more.

Watch, share and upload your high quality videos | Vimeo

via HBaseCon 2015 Presentations & Recordings


他にも このような資料が公開されてきています。

Trafodion Distributed Transaction Management from Rohit Jain Published on Jun 27, 2015

Trafodion brings a completely distributed scalable transaction management implementation integrated into HBase. It does not suffer from the scale and performance limitations of other transaction managers on HBase.

This presentation reviews the elegant architecture and how this architecture is leveraged to provide full ACID SQL transactional capabilities across multiple rows, tables, statements, and region servers. It discusses the life of a transaction from BEGIN WORK, to updates, to ABORT WORK, to COMMIT WORK, and then discusses recovery and high availability capabilities provided. An accompanying white paper goes into depth explaining this animated presentation in more detail.

Given the increasing interest for transaction managers on Hadoop, or to provide transactional capabilities for NoSQL users when needed, the Trafodion community can certainly open up this Distributed Transaction Management support to be leveraged by implementations other than Trafodion.

Trafodion Distributed Transaction Management

*1Configuration - Trafodion open source software projectにはプロダクション・クラスタの推奨要件が記載されています。1ノードあたりのプロセッサはsmallで2コアなので、プロセッサは2でも動きはするようです。推奨は「8GBメモリあたり1コア」で16GBメモリ2コアから。

2015/04/05(Sun)

[]2015/04/10 12:00-14:40 Meetup! JPOUG

雲の合間に、ここ東京で、みんなが集まる Meetup! JPOUG。

個性あふれる技術者が、 Oracle Databaseについての とっておきのネタを 25分ずつ 4つのセッションでお話します。そのあと、隠されている様々な謎を解くセッション「なーんでだ?」を、みんなでたのしみましょう。

ぜひお立ち寄りくださいませ。

Meetup! JPOUG | Japan Oracle User Group (JPOUG)

4月10日(金)12:00〜14:40に東京国際フォーラムで行います。Oracle CloudWorld Tokyo 2015 Day 2のUnconferenceセッション*1の位置づけです。

詳細は全てのセッションのタイトルと概要とオーガナイザー、そして「様々な謎」を記載した Meetup! JPOUG | Japan Oracle User Group (JPOUG)をご覧ください。




CIMG4012.JPG
CIMG4012.JPG by Oracle Technology Network Japan, on Flickr


6年前、同じ東京国際フォーラムで Oracle OpenWorld Tokyo 2009がありました。これはその時の写真です。あの時“多くの素晴らしいエンジニアの方々と交流ができるきっかけになり、思い切ってやってみてよかった”*2です。

今回も きっと多くの技術者の方々が東京国際フォーラムに集まると思います。さまざまな交流を楽しむ場になれば幸いです。


わたしは 6年前と似た“さまざまな謎を みんなで解きましょう”って言う予定です。


ひとりじゃなくて、みんなで。

2015/03/28(Sat)

[][]第1回 Vertica 勉強会 @ DeNA(Shibuya Hikarie)に参加して


Vertica Analytic Database *1 って何よ ?

Gartnerの”Market Definition”としてMagic Quadrant for Data Warehouse and Data Management Solutions for Analytics 12 February 2015には記されているが Magic Quadrant for Operational Database Management Systems 16 October 2014 にはない”database management system”です。*2

データベース管理システムの中でも関係データベース管理システムです。


ちょっと使ってみる程度にはインストールは不要です。Vertica on MapR Sandbox first impression - wmo6hash::blogAmazon Web Servicesでの Vertica Analytic Databaseの使い方 - wmo6hash::blog仮想アプライアンス Vertica Virtualized Analytic Databaseの使い方 - wmo6hash::blogVertica OnDemand Free Trialの はじめ方 - wmo6hash::blog仮想アプライアンス Hortonworks Vertica Sandboxの使い方 - その1 - wmo6hash::blogのいずれかをご覧になって持ち歩いてみたりインスタンスを生成してみたりして楽しんでみてください。*3


源となった C-Store: A Column Oriented DBMS in Database Group at MIT Computer Sciende and Artifical Intelligence LabのOverviewや Papers and Technical Reports C-Store: A Column Oriented DBMS *4 に書かれているような特徴であり設計思想の根幹は「読み取りに最適な配置を目的としてマテリアライズドビューのみで実装」にあります。*5 *6 その実装の名が「Projection」です。




わたしは「短く言われてもかわんねーよ!」という方の気持ちは痛いほどわかりますし、説明に何時間もかけることもあります。根本がわかりたい方は容赦なく何度もご自身が理解するまでお話してくださいますからね。

また「わかった」って言っている人がいると「わかんなかった」とは言いにくいから、ほんとはわかってなくても言わなかったりしますよね。


「マテリアライズドビューの概念と違うんじゃない?」という意見をお持ちの方もいるかと思いますが…

これは私の教科書*7です。“Only Materialized View”と しっかり書いてあり、違う違わないの話は、何かこのような根拠を持って話したいなって思います。


ここまでは第1回 Vertica 勉強会 : ATNDで触れられていなかったように感じたことに対して、私が言えることを書きました。

いずれにせよ「Projection」が わかった方と よくわからなかった方がいらっしゃっただろうなーと思いました。Vertica Analytic Databaseの記憶域属性設計と実装のサイクル - wmo6hash::blog も ほとんどわからなかっただろうなと思いました。

「Projection」の説明方法は引き続き工夫して改善し続けようと色々考えています。それが第二回以降で機会をいただけるなら自ら話すかもしれません。




主題

このようにお二人のお話はスライドが公開されています。

スライドに書かれていないことや闊達なQ&Aも含めての話ですが、“運用”は使い始める方や使っている方にはとても有益なお話ですし“活用したアナリスト業務”はユースケースとして前提やVertica Analytic Database利用に限らず どういった業務があるとかデータが存在してどう扱っているのかから考える基としてもお話は貴重でした。

個人的には同じ話を何度していただいても良いのではないかと思いますし、似たような話をしてくださる方が増えると嬉しいですね。


メモやお二人以外の方の話に関しては、他に書いていらっしゃる方々のブログなどをご覧ください。

第1回Vertica勉強会メモ - pandazx's blog

第1回Vertica勉強会に参加してきた - INPUTしたらOUTPUT!

第1回 Vertica 勉強会に行ってきた - wyukawa’s blog

第一回 Vertica勉強会 - Go ahead!

第1回 Vertica 勉強会 - Togetterまとめ


懇親会含め隅でひっそりお聴きしていました。

こんなちっこいのを見つけて お話をしてくださった方に感謝しつつ、第二回以降の開催を期待しています。


同じ日の出来事

Michael Stonebraker氏がチューリング賞を受賞されたことが発表されましたね。

His work on column-oriented storage architecture resulted in systems optimized for complex queries (C-Store/Vertica)

Michael Stonebraker - A.M. Turing Award Winner

Michael Stonebraker wins $1 million Turing Award | MIT News

ACM Turing Award Goes to Pioneer in Database Systems Architecture — Association for Computing Machinery

*1Context for Vertica Analytic Database - wmo6hash::blog

*2:データウエアハウス製品だって言う人もいるけど、個人的にはデータウエアハウスは概念です。その概念の元に使うべきソフトウエアかというと、それは概念実装としての使い方のひとつだと思っています。
またData Warehouseを日本語だとDWHって省略する人が多いけど、英語で省略されるときって目にするのはDWかWarehouseが圧倒的に多いので、個人的にはDWHって日本独自のなんか新しい意味や含みがあるんだろうなーと思っていますが、それが咀嚼出来かねるので自らは用いません。そこを一足飛びに Vertica Analytic Databaseのことを「Verticaはデーダブリューエッチです」とか言っている人いるのは知っていますが、私はそう発言したことは一度もないです。
また、日本ではそのDWHとやらを「大福帳」という表現もされます。大福帳は取引記録の生データを格納するようなイメージだそうですが、生データのままのデータ管理手法がデータウエアハウスの概念があてはまるかというと違うのではないかと思っています。
一方でデータウエアハウスの概念の一部としても考えられる分析向けデータ管理のソリューションというような言い方は、しっくりきます。

*3:わたしはインストールありきの考え方を持ちません。そもそもSQL文を発行するとかプログラミングするとかが先でインストールは誰かが行ったうえで使ってた製品がたくさんあります。もちろんインストールできなきゃ出来ることが限られるので、避けらて通れない道があることは知っています。でもそんなの知らなくてもいい人の方が多いし、インストールできないから何もできないなんてナンセンスな話だなぁと思っています。

*4:Mike Stonebraker, Daniel Abadi, Adam Batkin, Xuedong Chen, Mitch Cherniack, Miguel Ferreira, Edmond Lau, Amerson Lin, Sam Madden, Elizabeth O'Neil, Pat O'Neil, Alex Rasin, Nga Tran and Stan Zdonik. VLDB, pages 553-564, 2005.

*5Cloudera World Tokyo 2014 D-3 CDH with HP Vertica Analytics Platform 表示スライド抜粋 8ページより

*6http://en.wikipedia.org/wiki/C-Storeには“optimizing the database for reading”のみでマテリアライズドビューのことは書いてありませんが

*7:前出:Google BigQueryなどの仕組みを知りたいときの列指向データベースの説明に - wmo6hash::blog PDFVLDB 2009 Tutorial on Column-Stores via Daniel Abadi in Yale University