Hatena::ブログ(Diary)

青空を探す、旅の記録。 Twitter

カケラの樹
読書びより

2017/01/17 Tue

震災から22年。

| 18:41

去年の記事から先、何も書いてなかったとは……。

例年通り、非常用のやつのチェックをしておきましょっか。

最近ローリングストック法とゆうのが人気なようで。どうせ使う消耗品ならその方が手頃だからねぇ。更新忘れ対策にはGoogleリマインダを使えばいい。今持ってるアルファ化米の期限切れ後はウチでもそうしよっかな。

トラックバック - http://d.hatena.ne.jp/yune_kotomi/20170117

2016/01/17 Sun

震災から21年。

| 16:23

20年を超えると流石に長い時間が経ったとは思うけど、だからといってなにか変わるわけではない。

トラックバック - http://d.hatena.ne.jp/yune_kotomi/20160117

2015/12/22 Tue

PGroongaのインデックスを常に使う方法。

| 18:35

PGroongaJSON(B)に対しても全文検索できるのが便利ですが、レコード数が少ないとこんな感じで困ったことになる。

チュートリアルにあるサンプルスキーマデータを投入した状態で、

test=# SELECT record FROM logs WHERE record @@ 'paths @ ".code" && number >= 200 && number < 300';
ERROR:  pgroonga: operator @@ is available only in index scans

レコード数が少ないので全件舐めたほうが速いからプランナがインデックスを使おうとせずにこうなる。

test=# explain SELECT record FROM logs WHERE record @@ 'paths @ ".code" && number >= 200 && number < 300';
                                   QUERY PLAN                                   
--------------------------------------------------------------------------------
 Seq Scan on logs  (cost=0.00..26.38 rows=655 width=32)
   Filter: (record @@ 'paths @ ".code" && number >= 200 && number < 300'::text)
(2 rows)

チュートリアルにあるとおり、

SET enable_seqscan = off;

すれば動くけど、本番でこれやるのはちょっとどうかと。かと言って、レコード数が増えてきてからPGroongaを使うようにアプリケーションを改修するっていうのも乗り気がしない。最初から@@演算子を使ったクエリを書きたい。


ってことでどうするか。要は常にインデックスを使うようにすればいいので、pg_hint_planを使う。

インストールした上で、クエリにヒント句を足してやるだけ。

test=# /*+ IndexScan(logs) */ SELECT record FROM logs WHERE record @@ 'paths @ ".code" && number >= 200 && number < 300';

record                                            
----------------------------------------------------------------------------------------------
 {"code": 200, "host": "www.example.com", "tags": ["web", "example.com"], "message": "GET /"}
(1 row)

これでレコードが1つしかなかろうが常にインデックス使用され、@@演算子を使ったクエリが常に通るようになる。

トラックバック - http://d.hatena.ne.jp/yune_kotomi/20151222

2015/10/29 Thu

BDへの安全なバックアップ方法。

| 21:33

というのを契機にしてバックアップ方法を再考してたんですが、堅牢BD書き出し方法を考えたので書き留めます。

要求

構成

上記の要求を踏まえ、このような構成ディスク作成することにしました。

  1. ファイルEXT4フォーマットイメージに格納(a)
  2. イメージはLUKSにて暗号
  3. イメージBDに書き出す際、エラー訂正情報付与する

依存

  • cryptsetup
  • dvdisaster
  • mdadm

作成手順

EXT4ディスクイメージ作成
cd /tmp
dd if=/dev/zero bs=1M count=3500 of=disk.img.0
dd if=/dev/zero bs=1M count=3500 of=disk.img.1
dd if=/dev/zero bs=1M count=3500 of=disk.img.2
dd if=/dev/zero bs=1M count=3500 of=disk.img.3
dd if=/dev/zero bs=1M count=3500 of=disk.img.4

sudo losetup /dev/loop0 disk.img.0
sudo losetup /dev/loop1 disk.img.1
sudo losetup /dev/loop2 disk.img.2
sudo losetup /dev/loop3 disk.img.3
sudo losetup /dev/loop4 disk.img.4

sudo mdadm --create /dev/md/md0 -l linear -n 5 /dev/loop0 /dev/loop1 /dev/loop2 /dev/loop3 /dev/loop4
sudo cryptsetup luksFormat /dev/md/md0
sudo cryptsetup luksOpen /dev/md/md0 disk
sudo mkfs.ext4 /dev/mapper/disk
mkdir mount
sudo mount /dev/mapper/disk mount
sudo chown USERNAME mount

単一rawイメージではなく複数イメージをRAID0で束ねているのは、ISO9660フォーマット仕様上4GB以上のファイルを格納できないため。単一イメージにしてしまうとファイル分割の必要がある。

ディスクイメージファイルを投入

/tmp/mountに書き出したいファイルコピーする

ISOイメージ作成
sudo umount mount
sudo cryptsetup luksClose disk
sudo mdadm --stop /dev/md/md0
sudo losetup -d /dev/loop0
sudo losetup -d /dev/loop1
sudo losetup -d /dev/loop2
sudo losetup -d /dev/loop3
sudo losetup -d /dev/loop4
mkisofs -L -R -o disk.iso -V DISKNAME disk.img.*
dvdisaster -c -i disk.iso -mRS02 -n BD

上記のパラメータだと、30%ほどの冗長性が確保できる。あとは作成したISOイメージBD-Rに書き出せばよい。

マウント方法
sudo losetup /dev/loop0 /path/to/disk.img.0
sudo losetup /dev/loop1 /path/to/disk.img.1
sudo losetup /dev/loop1 /path/to/disk.img.2
sudo losetup /dev/loop1 /path/to/disk.img.3
sudo losetup /dev/loop1 /path/to/disk.img.4
sudo mdadm --assemble --force /dev/md/md0 /dev/loop0 /dev/loop1 /dev/loop2 /dev/loop3 /dev/loop4
sudo cryptsetup luksOpen /dev/md/md0 disk
mkdir /tmp/mount
sudo mount /dev/mapper/disk /tmp/mount
トラックバック - http://d.hatena.ne.jp/yune_kotomi/20151029

2015/02/09 Mon

PGroonga on Travis CI

| 23:11

2015年2月13日追記: 公式な使い方が発表されました。以下の手順は用済みです。

今回はTravis CIを使うので、無理矢理ですがPGroongaを使えるようにしてみました。

最初は.travis.ymlのbefore_installでpgroongaのドキュメントにあるようにソースからのインストールをやろうとしたんですが、make必要postgresql-server-dev-9.4をaddonsに書いて入れてやろうとしても、

Disallowing packages: postgresql-server-dev-9.4

と言われてmake出来ないので、checkinstallで.debを作ってやることにしました。


Travis CIのワーカはUbuntu 12.04 LTS 64bitなので、同じ環境VMを作り、それにPostgreSQL 9.4をインストール。その上でPGroongaをソースからインストールする手順を流し、

$ sudo make install

の代わりに

$ sudo checkinstall

をやってpgroonga_0.3.0-1_amd64.debを作ります。

作ったら、それを適当場所に置き、.travis.ymlのbefore_installに

  - wget http://path/to/pgroonga_0.3.0-1_amd64.deb
  - sudo dpkg -i pgroonga_0.3.0-1_amd64.deb

記述してやります。これでPGroongaのインストールができるので、あとはbefore_scriptで

  - psql -d データベース名 --command 'CREATE EXTENSION pgroonga;' -U postgres

と書いてやれば準備完了。あとはマイグレーション定義中でusing pgroongaでcreate indexしてやれば使えるはずです。

トラックバック - http://d.hatena.ne.jp/yune_kotomi/20150209