2011-10-05
Cassandra Conference in Tokyo
http://ec-cube.ec-orange.jp/lp/cassandra-conference-in-tokyo/
■基調講演： Cassandra 1.0 and the future of big data
http://d.hatena.ne.jp/egyptneko+code/20111005/1317789347
■ハイパフォーマンス・スケーラビリティーデータベース Apache Cassandra
http://d.hatena.ne.jp/egyptneko+code/20111005/1317791146
■「Cloudian(クラウディアン）」におけるCassandra （英語スピーチ&同時通訳付き！）
http://d.hatena.ne.jp/egyptneko+code/20111005/1317792908
■スマートフォン×Cassandraによるハイパフォーマンスサービス基盤の構築事例
http://d.hatena.ne.jp/egyptneko+code/20111005/1317795657
■Cassandra上でトランザクションを操る”NanaHoshi”とその展開例
■Webアプリケーションから見たCassandra
■KVSを活用したログ保管・解析基盤構築の実例
■Cassandra を使った大規模データ保存の事例紹介(Issues and Tips for Big Data on Cassandra)
Cassandra Conference in Tokyo::Cassandra 1.0 and the future of big data
→来週 1.0 リリースするらしい
・Compressionその他”自動圧縮”機能の充実
→データを圧縮しながら高速検索？
・CQL
→複文無し！※カラムファミリー、カラムの有効期限(TTL suppport)
カラムファミリーにからんで、エントリーグループ(Entry Groups)の追加。
・mem talbeの最適化
・Analytics+Realtime
→Analytics(Hadoops)&&
→リプリケーションによるシームレス？な分散化によるパフォーマンスチューン
[メモ]
CassandraのReadHeavyなプロジェクト→アメリカ政府の４００台の運用
Cassandra Conference in Tokyo::ハイパフォーマンス・スケーラビリティーデータベース Apache Cassandra
→司会の人
分散データベース構造の特徴
→ノードにロール（役割）が無い
→書き込み先ノード数は三ぐらいで、ヒント付きコメントで色々うまくまわしている。
→データ構造は、４次元ないし５次元ハッシュ
→ここにカラムファミリーなどの概念が有る
→DataRead .... 複数ノードから最新データReturn/DataaWrite .... 一定数以上のノードに書き込めば正常処理
→マルチデータセンター動作
→三タイプぐらいに分かれる
→商用サポート案内（発表者の会社
→Fluent-Plugin-Cassandra
→Rubyで書かれているらしい
→Mapreaeuceで解析
実物は ジェムとGitHabで
Cassandra Conference in Tokyo::「Cloudian(クラウディアン）」におけるCassandra （英語スピーチ&同時通訳付き！）
Cloudianは Cassandraが”バックエンド”のKVSで動くシステム？
Cloudian = S3 Cloud Strage as Packaged Software
・カンタンなCassandraのセットアップ＆チューン、QoSや、プライベートクラウドの構成。S3以外のプライベートなクラウドへのポーティングの様なもの。管理画面はWebベース
・S3のアップグレードに完璧に追随
・NiftyCloudにも提供中（一部
・PublicCloudStrageService（S3など
・EnterprisePrivateCloud（NAS
・WhyCassandra?
→Scalable/Relible/Fast
・Cloudian:Logical Architecture
→つまり、ストレージとかそういうものをCassandraでやるということの模様。それをS3にのせたり、プライベートクラウドに置くという事らしい
→"Raw" colnmn Family/"Rollup" colnmn Family
・HyperStore
→Clouianの次期バージョンの中核技術
→HyperStoreのストレージ特性は、分散KVSの特性を生かして、ストレージの良いところどりができる？
geminimobile.jp/big data solutions/Cloudian eval apr.php5
→マルチデータのリプリケーションの試験や実績が三年もある為
s3は、パブリックデータ・実際には
OpenIDになっている
Cassandra Conference in Tokyo::スマートフォン×Cassandraによるハイパフォーマンスサービス基盤の構築事例
→クライアントから、いかにして大量を操作をするか？
→SL/JavaScript/Android ... MS の技術者名簿に登録済み
・GeCuu(http://)
→時間と空間を自由に移動出来るソーシャルなロギング基盤
→GEolocation(GEomedia)のGeなのでジクー
→２０１１年８月から公開ベータを供給、Androidクライアント作りました。
→cassandraは Thrift API
→設計にかなり苦労。パフォーマンスには劣るがSQLはやはり便利。
→分散MQも追加
→分散検索して負荷軽減
→データ構造も変更
→さらに、独自KVSも追加
→Cassandraはログの様なシーケンシャルなデータが得意
Cassandra Conference in Tokyo::Cassandra上でトランザクションを操る”NanaHoshi”とその展開例
→EC-Orangeの会社
・オープンソースかつ大規模なもの
・トランザクションをする方法
→Cassandra＋αでいける？
→NanaHoshi
gihyo.jpのCAPの定理
→BASE型トランザクションのコンセプトと似たような実装
ThiftIf経由でcassandraを操作
NanaHoshiの実コードは、数千行ぐらい。
日本カサンドラコミュでいろいろ。
→企業のコミュにて色々あるといいかなとか
Cassandra Conference in Tokyo::Webアプリケーションから見たCassandra
・プロダクト間の整合性をとるような話題を主に。
・Webmail(Casandraがバックエンドで、EC2に作ってある）
・PCから徐々にスケールアップ出来る方法を考えている。
→最低三台から始めれる（スケーリング性）
→レプリカを三台、QUORUM（過半数で処理できれば次に進める）
cl.mediam×三台から始めて、1.5年でラージ×十八台へ、DATAは150Gから、18Tぐらいへ
→小さなDATAから始めてシステムスタートしてTバイト単位のDATAを扱うはばあい、cassandraの高可用性は魅力的→オーザプリパニングパーティションで借りている。
→ノード追加は、７０％の負荷を超えた場合、追加の基準にしている。
→すべておちたら、バックアップDATAをリードオンリーで使うことで急場をしのぐ
→DATAの構造がCassandraは、ややこしくなりがち、独自のO/Rマッパーを用意、アノテーションで管理。あと、カウンターも実装している。→アスキーテクノロジーの連載に書いた→OSSで公開予定
→単行本にも、なっている
KVSを活用したログ保管・解析基盤構築の実例
＞
ウルシステムズ株式会社では2年ほど前からOSSの分散処理フレームワークHadoopを 活用した基幹バッチ処理の高速化やデータ解析基盤の構築に取り組んでいます。 Hadoopのようなデータ解析基盤を構築する上で課題となるのは、解析対象となる 大量データの取扱いであり、KVSは大量データを活用する上で不可欠な技術です。 ログ保管・解析基盤の構築現場から、KVS活用における課題や解決策の実例をご紹介します。
ウルシステムズ株式会社
中村 秀剛
＜
・ログ解析基盤のKVS/Hadoop構築事例
→顧客問い合わせ
→データ量が莫大になって解析に時間がかかる
→スケールアウトできず、スケールアップして来たが限界、一部機能を停止している
→過去ログを横断するログビュアーも欲しい
解決に、KVSを投入
→KVSのデータ限定期間に、他はバックアップ
→データ移行に、加工が必要だった
→クリアニングに関して独自バッチを作成→これにCassandraを利用？
data forerics
→ISP業者で必要なシステムになりそう
＊＊＊
国勢調査をKVSとか、Hadoopとかcassandraを使って解析してみた
→CSVを、cassandraに取り込んで、Hadoopで解析をしてみた。だいたい、400行ぐらいのコードで解析できる。
→Hadoopはあくまで計算用のワーク環境として使っている。
大量データ解析で、情報を得て、それを加工して回すことで、次のビジネスサイクルを生み出す。という方向など今後提案。
2011-09-05
BASICネタ その１
手持ちの主なジェット、OSにすべて実行環境（インタープリター）がそろったので、何かやってみたくなってきましたというオチ。
現状こんな感じ。
M$MSWindows .... SmallBasic
iPhone/iPodTouch .... 各種なんか３種類以上ぐらい
NintendoDS .... ぷちこん
http://nureinu.net/archives/2566923.html
・・・まだ増えるかな？
N88‐日本語BASICハンディ・マニュアル (ナツメ・ハンディ・リファレンス)
- 作者: 戸内順一
- 出版社/メーカー: ナツメ社
- 発売日: 1990/11
- メディア: 単行本
- この商品を含むブログ (1件) を見る
- 作者: 河西朝雄
- 出版社/メーカー: 技術評論社
- 発売日: 1993/08
- メディア: 単行本
- この商品を含むブログを見る
http://www.amazon.co.jp/n88-basic/s?ie=UTF8&rh=i%3Aaps%2Ck%3AN88-BASIC&page=1
2011-09-03
Perl6を準備
素敵ページを見つけた
http://d.hatena.ne.jp/gnjdg6457/20110126/p1
http://d.hatena.ne.jp/risouf/20100803/rakudostar_quicksort
（前にもこのページへのリンク作った気が・・・
2011-09-02
YAPC::Asia TOKYO 2011
http://yapcasia.org/2011/images/header_yapc_logo.png
やっぱり、勝手にロゴ引っ張って来たら、おこられちゃうかなー
あ、そういえばこの辺放置しっぱなし・・・
http://d.hatena.ne.jp/egyptneko+code/20100810/1281455683
http://d.hatena.ne.jp/egyptneko+code/20100805/1281027594
http://d.hatena.ne.jp/egyptneko+code/20100805/1281027378
http://d.hatena.ne.jp/egyptneko+code/20100805/1281019525
http://d.hatena.ne.jp/egyptneko+code/20100804/1280933583
http://d.hatena.ne.jp/egyptneko+code/20100803/1280856043
http://d.hatena.ne.jp/egyptneko+code/20100803/1280854656
http://d.hatena.ne.jp/egyptneko+code/20100803/1280852732
http://d.hatena.ne.jp/egyptneko+code/20100731/1280542431
http://d.hatena.ne.jp/egyptneko+code/20100730/1280511043
http://d.hatena.ne.jp/egyptneko+code/20100730/1280501567
http://d.hatena.ne.jp/egyptneko+code/20100730/1280500735
http://d.hatena.ne.jp/egyptneko+code/20100903/1283533697
・・・（滝汗
2011-02-25
PostgreSQL Conference 2011 Tokyo
http://www.postgresql.jp/events/pgcon2011/
プログラムの詳細
http://www.postgresql.jp/events/pgcon2011/program
会場の様子
→なんか凄いです。事務局の案内によると、２００人分用意したチケットは売り切れたということのようです。（以前・・・といっても、PostgreSQL7の頃とはずいぶん違いますねぇ・・・）
午前中
・オープニング
→いろいろ、掲示板も作ったので書き込んでねということらしい。
・PostgreSQLを活用した国内初の流通小売業者向け SaaS型基幹システム
→結構、PostgreSQL7.x から PostgreSQL8.x に移行するのは手間みたい。
・PostgreSQL 9.0 ストリーミングレプリケーションの実力
→Walの設定が、肝らしい。→アーキテクチャー入門を聞いて思ったのだが、アレイのI/Oのスペックやらベンチをとれば何か分かるかもしれないと妄想した。
午後
→お好みチョイス:)
・PostgreSQL アーキテクチャー入門
満員御礼、というか、JRでいうところの３００％ぐらいの状況でした・・・
→実行計画＆クエリ分析のあたりは凄かったです。というかお腹一杯wでツイテケナイところが多々・・・
・徹底比較 PostgreSQL vs MySQL
→２００９年にシェア逆転されちゃいましたね(´・ω・`)ｼｮﾎﾞｰﾝ
リプリケーションもかっちりできたので使ってね(｀・ω・´)ｼｬｷｰﾝ
by PostgreSQL9.x
・・・だいたいこんな感じでいいですか？
・巨大天体カタログと任意天体カタログとのポジションマッチアップ
→もと、満開製作所の方でしたw
→天文業界ってあるんですね・・・・
・Let's Postgres!
→＠運営（ないしは、＠事務局）からのお知らせです。
・クロージング
・LT
・PostgreSQL9.1をいち早く宣伝中
→2011年夏リリース！（予定？
・ポスグレを100倍早くする方法（これはネタではない！
→Query Cache!(uptimeのgo/querycache)
・「ユーザ会はあなたを必要としています！」by＠運営
ユーザ会は、皆様の暖かい支援で成り立っています:)
→学生の方いかがですか？→就活にry
→個人事業主の方、ビジネスチャンスです。
→一線を退いた方、ぜひその経験を！
→企業の方、協賛をお待ちします。
→下心歓迎w
・エバンジェリスト体験談
→方法１：定時後の勉強会を開いてみた。
→方法２：MediaTombをPostgreSQLにのせかえてみた。（途中
・飛び込み：SQL in LL
→select "Hello" →LL ...
→select array[1,2,3]; → LL ...
→SQLで1linerのフィボナッチ関数・・・ → LL...
→アダブカダブラをSQLの1linerで・・・ → LL...
→perl/python/ruby/php/ SQL ... 圧倒的ユーザ数ではないか(ry
→"I made psqlsh" ...
・飛び込み？：石井さん(5分でスライドを作ったそうです・・・）
→pgpool-II が昨日リリースされました！（パチパチパチ
→パリと、ベルギーでも宣伝しているそうです。
→pgpool-III 3.1の計画について。（３月上旬ベータリリース、4/2正式リリース？）
→@pgpool2でkwsk
→１台でpgpool を試す方法を公式サイトにアップしてあるそうです。
→「おつかれさまでした！」＠事務局
【その他】
アンケートを書いたところ、すてきなポストグレスグラスをもらいました。
・懇親会
大変ありがたいものを頂きました。
料理も大変おいしかったです。
