ブログトップ 記事一覧 ログイン 無料ブログ開設

wyukawa’s blog

2013-01-08

HBaseクライアントを作る際のページング処理について

HBaseにデータをいっぱい突っ込んでHBaseクライアント作ってさーがりがり検索するぞーっていう場合に注意する点があります。

row keyで検索するとして単純に考えるとGetオブジェクを作って以下のように検索するでしょう。

		Get get = new Get(rowkey);
		get.addFamily(columnFamily);
		Result result = table.get(get);
		List<KeyValue> list = result.list();
		for (KeyValue keyValue : list) {
			System.out.println(Bytes.toString(keyValue.getValue()));
		}

こうすると1行に大量の列がある場合にResult#listでメモリ不足になる危険性があります。

じゃあ、どうするか?まあページング処理が必要ですよね。指定した列数だけ取得するためにはScan#setBatchを使います。

具体例をあげます。まずは以下のスクリプトを用意してHBaseにテスト用のテーブルを作成します。

create 'testtable', 'cf'

10.times { |i|
  put 'testtable', 'r1', "cf:q#{i}", "value#{i}"
}

10.times { |i|
  put 'testtable', 'r2', "cf:q#{i}", "value#{i}"
}

scan 'testtable' すると

 r1                                                                   column=cf:q0, timestamp=1357640105830, value=value0                                                                                                                                                       
 r1                                                                   column=cf:q1, timestamp=1357640105848, value=value1                                                                                                                                                       
 r1                                                                   column=cf:q2, timestamp=1357640105863, value=value2                                                                                                                                                       
 r1                                                                   column=cf:q3, timestamp=1357640105866, value=value3                                                                                                                                                       
 r1                                                                   column=cf:q4, timestamp=1357640105869, value=value4                                                                                                                                                       
 r1                                                                   column=cf:q5, timestamp=1357640105871, value=value5                                                                                                                                                       
 r1                                                                   column=cf:q6, timestamp=1357640105873, value=value6                                                                                                                                                       
 r1                                                                   column=cf:q7, timestamp=1357640105876, value=value7                                                                                                                                                       
 r1                                                                   column=cf:q8, timestamp=1357640105878, value=value8                                                                                                                                                       
 r1                                                                   column=cf:q9, timestamp=1357640105884, value=value9                                                                                                                                                       
 r2                                                                   column=cf:q0, timestamp=1357640105929, value=value0                                                                                                                                                       
 r2                                                                   column=cf:q1, timestamp=1357640105931, value=value1                                                                                                                                                       
 r2                                                                   column=cf:q2, timestamp=1357640105934, value=value2                                                                                                                                                       
 r2                                                                   column=cf:q3, timestamp=1357640105937, value=value3                                                                                                                                                       
 r2                                                                   column=cf:q4, timestamp=1357640105941, value=value4                                                                                                                                                       
 r2                                                                   column=cf:q5, timestamp=1357640105945, value=value5                                                                                                                                                       
 r2                                                                   column=cf:q6, timestamp=1357640105949, value=value6                                                                                                                                                       
 r2                                                                   column=cf:q7, timestamp=1357640105952, value=value7                                                                                                                                                       
 r2                                                                   column=cf:q8, timestamp=1357640105954, value=value8                                                                                                                                                       
 r2                                                                   column=cf:q9, timestamp=1357640105957, value=value9                                                                                                                                                       
2 row(s) in 0.4520 seconds

となります。

20行あるように見えますが、見方としては2行(r1とr2)あって各行が10列(cf:q0〜cf:q9)あります。

Scan#setBatchはこんな感じで使います。

		Scan scan = new Scan(Bytes.toBytes("r1"));
		scan.addFamily(Bytes.toBytes("cf"));
		scan.setBatch(5);
		ResultScanner scanner = table.getScanner(scan);
		for (Result result : scanner) {
			List<KeyValue> list = result.list();
			for (KeyValue keyValue : list) {
				System.out.println(Bytes.toString(keyValue.getRow()) + " " + Bytes.toString(keyValue.getValue()));
			}
		}
		scanner.close();

実行結果

r1 value0
r1 value1
r1 value2
r1 value3
r1 value4
r1 value5
r1 value6
r1 value7
r1 value8
r1 value9
r2 value0
r2 value1
r2 value2
r2 value3
r2 value4
r2 value5
r2 value6
r2 value7
r2 value8
r2 value9

5つづつ進むので一番外側のループは20/5=4回ループします。

Scanのコンストラクタには開始行しか渡していないのでr2まで含んだ結果がかえってきます。

Scan scan = new Scan(Bytes.toBytes("r1"), Bytes.toBytes("r1"));

として終了行も指定すればr1の結果のみ取得できます。

Scan(Get get)を使っても同様の結果になります。

GetとScanを使った場合のサンプルの完全版はこちら

import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;


public class GetScanSample {
	
	public static void main(String[] args) throws Throwable {
		Configuration conf = HBaseConfiguration.create();
		String tableName = "testtable";
		HTable table = new HTable(conf, tableName);
		
		System.out.println("Get start");
		Get get = new Get(Bytes.toBytes("r1"));
		get.addFamily(Bytes.toBytes("cf"));
		Result result1 = table.get(get);
		List<KeyValue> list1 = result1.list();
		for (KeyValue keyValue : list1) {
			System.out.println(Bytes.toString(keyValue.getRow()) + " " + Bytes.toString(keyValue.getValue()));
		}
		System.out.println("Get end");
		
		System.out.println("Scan start");
		Scan scan = new Scan(get);
		int limit = 5;
		int offset = 0;
		scan.setBatch(limit);
		ResultScanner scanner = table.getScanner(scan);
		int count = 0;
		for (Result result : scanner) {
			if(count == offset) {
				List<KeyValue> list = result.list();
				for (KeyValue keyValue : list) {
					System.out.println(Bytes.toString(keyValue.getRow()) + " " + Bytes.toString(keyValue.getValue()));
				}
				break;
			}
			count++;
		}
		scanner.close();
		System.out.println("Scan end");
	}

}

実行結果

Get start
r1 value0
r1 value1
r1 value2
r1 value3
r1 value4
r1 value5
r1 value6
r1 value7
r1 value8
r1 value9
Get end
Scan start
r1 value0
r1 value1
r1 value2
r1 value3
r1 value4
Scan end

offsetを1にすれば後半のvalue5〜value9を取得できますのでページング処理はこんな感じでできます。

この辺は馬本の3.5 スキャンに書かれているので読むと良いでしょう。

列に対してのフェッチ数はsetBatchで指定し行に対してのフェッチ数はsetCachingで指定します。

いじょ

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

トラックバック - http://d.hatena.ne.jp/wyukawa/20130108/1357645875
リンク元