ブログトップ 記事一覧 ログイン 無料ブログ開設

wyukawa’s blog

2018-08-03

yanagishimaとElasticsearch

Elasticsearch 6.3になってSQLがサポートされたのですが、KibanaからだとDiscoverからはクエリ投入できなくてDev Toolsから実行するしかないです。

https://www.elastic.co/guide/en/elasticsearch/reference/6.3/xpack-sql.html

そのうちDiscoverからはクエリ投入できるようになりそうですけど、yanagishimaでサポートしても悪くあるまいということで進めてます。

Elasticsearch JDBC Driverを自前で実装してyanagishimaから使っています。

https://github.com/wyukawa/elasticsearch-jdbc-driver

自前実装といっても下記を参考にしてますし、全メソッドを実装しているわけではなくyanagishimaで使うものだけ実装しています。

https://github.com/tokuhirom/unofficial-elasticsearch-jdbc-driver

SQLからLuceneクエリに変換するAPIも用意されていたので、それも別途取り込んでます。

https://www.elastic.co/guide/en/elasticsearch/reference/6.3/sql-translate.html

maven repoにjar登録するの面倒かなと思ったんですが、調べつつやったらそんなに大変でもなかった。下記がプロジェクト申請時のissueです。

https://issues.sonatype.org/browse/OSSRH-41141

社内で軽く使い始めてみましたが、group byに1つしかかけない、case/union allをサポートしてない、sum(if())みたいにifを関数として使えない、などまだ機能が足りてない感じなので今後に期待といったところです。

関数も少ないですね。

https://www.elastic.co/guide/en/elasticsearch/reference/6.3/sql-syntax-show-functions.html

個人的にはyanagishimaでsqlからtranslateしてそこからkibanaにリンクできると面白いかなと思ってます。

yanagishimaのバージョンは今14.0ですが、15.0で正式にElasticsearch SQLをサポートしようと思ってます。

2018-06-30

ディス・イズ・ザ・デイ

ディス・イズ・ザ・デイ

ディス・イズ・ザ・デイ

全22チームある架空のJ2の最終節を舞台とした連作短編集です。

11試合+プレーオフの合計12編あって、それぞれホーム側、アウェー側のサポーターの視点から話が進んでいきます。

個人的には4話目が熱い。どちらかというと重苦しいトーンなのだが抜群に良い。

僕はFootのファンなのですが、津村さんはそこから知っていろんな小説、たとえば、この世にたやすい仕事はない なんかは好きです。作者は僕と同年代で、主人公は働く独身女性というパターンが多い気がします。

D

で、このディス・イズ・ザ・デイは僕が思うに津村さんの最高傑作なのではと思いました。

サッカー好きな人はもちろんそうでない人も楽しめるんじゃないかと。

2018-06-27

Elasticsearch/Kibanaを6.2.2から6.3.0にupgradeした

6.3.0のrelease blogはこちら

https://www.elastic.co/blog/elasticsearch-6-3-0-released

https://www.elastic.co/blog/kibana-6-3-0-released

6.3.0からX-Packが標準で含まれるようになったのでインストールは不要で、最初からBasic Licenseが適用されています。

SQLもBasicに含まれていますが、JDBCは有償です。

https://www.elastic.co/subscriptions

なので

https://github.com/tokuhirom/unofficial-elasticsearch-jdbc-driver

をコピペして軽くJDBC Driverを作り始めましたが、進捗0です。

https://github.com/wyukawa/elasticsearch-jdbc-driver

他に良さそうなやつがあれば捨てて乗り換えます。


upgradeのやり方は

https://www.elastic.co/guide/en/elasticsearch/reference/6.3/rolling-upgrades.html

にある通りですが、注意点として古いバージョンのx-packをremoveする必要があります。

https://github.com/elastic/elasticsearch/issues/31465

https://github.com/elastic/kibana/issues/19957

で、上げた翌日にはKibanaのグラフが自動更新の際にチカチカするんだけど、、、という話があり、どうも下記を踏んだ模様。criticalなものではないと思うけど、気になる人は次のバージョンを待った方がいいかも。

https://github.com/elastic/kibana/issues/20240

Kibana 6.3.0からインデックス管理もできるようになったのですが、index templateの更新はできなそうなのでcerebroは依然として使う予定です。

今日cerebroを0.8.1にupgradeしたらクラスタ設定もいじれるようになっており進化を感じます。

2018-06-17

Elasticsearch実践ガイドを読んでみた

目次

第 1 章 Elasticsearch とは
1-1 Elasticsearch が登場した背景
1-2 Elasticsearch の特徴
1-3 Elastic Stack について
1-4 Elasticsearch のユースケース
1-5 Elasticsearch の導入事例
1-6 まとめ
第 2 章 Elasticsearch の基礎
2-1 用語と概念
2-2 システム構成
2-3 REST API による操作
2-4 Elasticsearch の導入方法
2-5 まとめ
第 3 章 ドキュメント/インデックス/クエリの基本操作
3-1 ドキュメントの基本操作
3-2 インデックスとドキュメントタイプの管理
3-3 さまざまなクエリ
3-4 まとめ
第 4 章 Analyzer/Aggregation/スクリプティングによる高度なデータ分析
4-1 全文検索と Analyzer
4-2 Aggregation
4-3 スクリプティング
4-4 まとめ
第 5 章 システム運用とクラスタの管理
5-1 運用監視と設定変更
5-2 クラスタの管理
5-3 スナップショットとリストア
5-4 インデックスの管理とメンテナンス
5-5 refresh とflush
5-6 まとめ
第 6 章 Elastic Stack インテグレーション
6-1 Elastic Stack
6-2 X-Pack の活用
6-3 まとめ
索引

僕は管理者、ログ分析の文脈でElasticsearchを使っていて、検索エンジンとしてはあまり使っていません。

Analyzerとかクエリの書き方とかは全然わかってなくて本当に雰囲気で触っているのだが、

そういう人にとっては、もちろん普通にElasticsearchに入門する人でも、本書は役立つと思う。特に3,4章とか

運用管理者の視点からも5章はアップグレード方法だったり、Luceneのインデックスファイル構造まで書かれていて参考になった。

Elasticsearch絡みの日本語書籍は結構古くなっていて、最近で本書以前では下記があったのだが、こちらはFluentdも含めたログ分析基盤の観点から書かれた本なのでElasticsearch自体にはあまり踏み込んでいなかった。

Elasticsearch実践ガイドは逆にFluentdのような周辺システムにはあまり触れずにElasticsearchについて必要なことが書かれている。ただ本書が対象としているElasticsearchのバージョンが6.2だが、最近6.3が出たのはちょっとタイミングが悪かったかもしれない。6.3からX Packは別途インストールする必要なくなったしね。とはいえ本書はElasticsearchについて学ぶのに良書だと思う。

2018-06-10

南魚沼グルメマラソンにいってきた

5年連続5回目の参加です。結果はネットタイムが2時間1分1秒でした。

参加した5回のなかではおそらくもっとも気温が低く走りやすかったと思うけど、練習不足でした。

06:08東京発の新幹線にのり浦佐駅には07:36到着。

今回はゼッケンや計測チップは事前発送だっただけど紛失したので1000円払って再発行して走りました。

ゴール後はごはんとつまみとビール。このあとカレーも食ってお腹いっぱい。

f:id:wyukawa:20180610162610p:image

自分のいままでの人生においてもっともビールがうまかった瞬間ベスト5を上げろと言われれば、全て南魚沼グルメマラソンの時だろうなというぐらい今回もうまかったです。