"97 Things Every Software Architect Should Know" という洋書の邦訳が、"ソフトウェアアーキテクトが知るべき97のこと" (www.oreilly.co.jp, www.amazon.co.jp)というタイトルで 10月5日、オライリーから発売です。

ソフトウェアアーキテクトが知るべき97のこと

• 作者: Richard Monson-Haefel, 鈴木雄介, 長尾高弘
• 出版社/メーカー: オライリージャパン
• 発売日: 2009/10/05
• メディア: 単行本（ソフトカバー）
• 購入: 5人 クリック: 139回
• Amazon.co.jpで詳細を見る

第一線で活躍するソフトウェア・アーキテクト達が、独自の視点でアーキテクトという職業やソフトウェア開発にまつわる事柄についてのエッセイをそれぞれ執筆、それが 97 本あるというコラム集です。

邦訳版では、日本人のアーキテクト、開発者による書き下ろしが収録されています。監訳者の鈴木雄介さん (arclamp.jp) からのお誘いで、自分も「手段的な技術と陳腐化しない本質的な技術」という題のコラムを一本書かせていただきました。

10月17日(土)、出版記念トークイベントを池袋ジュンク堂にて

書籍の出版を記念したトークイベントが、10月17日(土) の 19:00 から、池袋ジュンク堂で開催されます。

• http://www.junkudo.co.jp/newevent/evtalk.html#20091017ikebukuro

鈴木雄介さん、それから私と同じく執筆者の 小野和俊さん と 3名で、書籍のテーマに沿った形でのトークセッションを行う予定です。

近所にお住まいでお時間のある方は、よろしければご来場くださいませ。なお、来場にあたっては電話もしくは来店での予約が必要とのことですので、リンク先を参照の上お問い合わせください。

2日目の発表も終えました。資料を公開します。

今日も少し駆け足気味でした。YACP::Asia 2009、今年も楽しかったです。Hackathon 出ずに京都に戻らなければならなかったのが悔やまれます。

発表の様子

撮影: id:hirose31

1日目の発表を終えました。資料を公開します。

発表の方は少し駆け足になってしまいました。明日ははてなブックマークのシステム事例の話をしたいと思います。

発表の様子

via: http://yapcasia2009.ficia.com/

来週 9月10, 11日は、東京は東工大で開催される YAPC::Asia 2009 に行く予定です。スピーカーとして2枠、いただきました。

9月10日 「Perlで圧縮」

10日には Perlで圧縮 と題して、データ圧縮の概論と Perl でデータ圧縮を行うに当たっての TIPS 的なところを紹介します。ここのところなぜかデータ圧縮の魅力に取り憑かれてしまいまして、今回も思わず圧縮の話を submit してしまいました。

データ圧縮は、データの保存領域コストを節約するという目的だけなく、I/O 性能を向上させるという観点でも重要です。圧縮を行いたい場合、多くの場合はよく枯れたオープンな実装を用いるだけで事足りるとは思いますが、各種実装の使い分け基準はそれほど自明ではありません。また場合によっては、そのアプリケーションに特化した圧縮実装を自前で用意するといったことも検討に値します。その辺も含めて、Perl でのケースを絡めながら 20分ほどお話できればと思っています。

9月11日 「はてなブックマークのシステムについて」

11日には はてなブックマークのシステムについて 紹介します。

はてなブックマークは昨年11月25日に大規模なリニューアルを行いました。リニューアルにあたってはシステムの再構築を行っています。あれから半年とちょっとが経ちましたが、その運用期間で得られた新しいノウハウや知見、また新機能開発で用いた手法なども含めて、Perl で組まれた中~大規模システムのひとつの事例として紹介できればと思っています。こちらは 40分のセッションです。

通常の整数は 32 ビットは 4 バイトの固定長によるバイナリ符号ですが、小さな数字がたくさん出現し、大きな数字はほとんど出現しないという確率分布のもとでは無駄なビットが目立ちます。

Variable Byte Code (Byte Aligned 符号とも呼ばれます) は整数の符号化手法の一つで、この無駄を幾分解消します。詳しくは Introduction to Information Retrieval (以下 IIR) の第5章に掲載されています。(http://nlp.stanford.edu/IR-book/html/htmledition/variable-byte-codes-1.html で公開されています) Variable Byte Code はその名の通りバイトレベルの可変長符号で、1バイトの先頭1ビットを continuation ビットとして扱い、続く 7 ビットでバイナリ符号を行います。小さな数字を 1 バイトで表現し、大きな数字でも複数バイトで表現できる符号化手法です。

例として 5 や 130 といった数値を符号化するとそれぞれ

となって、固定長符号では上位の3バイトが無駄になりがちなところ、Variable Byte Code では無駄が少ないことが分かります。

このように整数の符号化手法によっては小さな数字をより小さな符号長で表現することができ、結果として圧縮効果が得られます。Variable Byte Code 以外にもγ符号やδ符号、ゴロム符号など整数の符号化には多数の手法があります。そしてそれらの手法でなぜ圧縮効果が得られるのか、というところを見ていこうというのが今回の話の主旨です。

検索エンジンの転置インデックスを圧縮する

例えば検索エンジンの転置インデックスでは、文書IDを整数で扱い、整数の並びで索引を表現します。「perl という単語が含まれる文書は [ 3, 5, 20, 21, 23, 76, 77, 78 ... ] です」という具合です。これらの整数を符号化するのに固定長バイナリ符号ではなく、ちょっとした前処理を施してから Variable Byte Code を使うと圧縮効果が得られます。

ちょっとした前処理というのは、文書ID をそのまま使うのではなく、前の数字との差分で同じリストを表現するように変形してやります。[ 3, 5, 20, 21, 23, 76, 77, 78 ] → [ 3, 2, 15, 1, 2, 53, 1, 1 ] です。こうしてやると小さな数字がたくさん出現するようになります。全体として小さな数字の出現確率が高ければ Variable Byte Code で圧縮効果が得られるのは直感的に分かります。

ビットレベルの符号化 ・・・ γ符号, δ符号

ところで Variable Byte Code はバイトレベルの符号化なので、どんなに小さな数字でも 1 バイトは 8 ビット未満にまで小さくして表現することはできません。バイトレベルではなくビットレベルでの整数の符号化手法は多数ありますが、ポピュラーなのは γ符号, δ符号でしょうか。

γ符号は整数 x を、

• 1 + floor(log x) を unary 符号で
• x - 2^{floor(log x)} をバイナリ表現した floor(log x) ビットで

する符号化手法です。unary 符号は 1 を 3 を 110, 4 を 1110, 5 を 11110 ... とビットの立っている数で整数を表現する符号化手法です。γ符号における unary 符号部は、続くバイナリ部分のビット数を表現します。

これだけだとよくわからないので、Managing Gigabytes (以下 MG) にある γ符号の例を示します。x = 9 の場合

• floor(log x) = 3 より、1 + floor(log x) = 4 → 4 を unary 符号で符号化 → 1110 (これはバイナリ部分が 3 ビットであることを示す)
• 9 - 2^{floor(log 9)} = 9 - 2³ = 9 - 8 = 1 → 1 を 3 ビットで表現 → 001

となり、結果として 9 は 1110 001 というビット列で符号化されます。

一方の δ符号はγ符号で unary 符号を使うところを、γ符号で符号化したものです。それぞれの手法で小さな整数がどのように符号化されるかを以下に示します。MG の P.117 は Table 3.6 から引用します。

となります。γ符号、δ符号両者ともに、小さな数字は 8 ビット以下で表現できていることが分かります。

ロイターのニュース記事を集めた RCV1 のような一般的な文書コーパスを対象に転置インデックスを構築した際は Variable Byte Code よりもγ符号、δ符号で文書IDを符号化する方が全体として圧縮率は高いそうです。IIR の第5章によれば、RCV1 の転置インデックス (の postings file) は 32 ビット固定のバイナリ符号で 400MB になるところ、Variable Byte Code で 116 MB、γ符号で 101 MB になるそうです。

なぜγ符号やδ符号で圧縮されるのか

それで、γ符号やδ符号のあらましは分かったのですが、なぜこれらの符号でそのような圧縮効果が得られるのかがしばらく理解できていませんでした。今回改めて MG の第3章を読んで理解したことを記します。

ポイントになるのは固定長バイナリ符号、γ符号やδ符号をはじめとする整数の符号化が、暗黙的に確率モデルを内包しているという所です。以下、そこを見ていきます。

γ符号、δ符号共に、整数 x が分かると符号長 l_x が分かります。γ符号は unary 符号部が 1 + logx, バイナリ部分が logx なので 2logx + 1 ビット, δ符号はγ符号の unary 符号部をγ符号に変えたものなので、そこから定式化できます。

• γ符号 : l_x = 1 + 2logx ビット
• δ符号: l_x = 1 + logx + 2log(1 + log x) ビット

となります。x に対する符号長が定式化できるとあとはシャノンの情報量の式 l_x = -log Pr[x] から、符号確率 Pr[x] は Pr[x] = 2^-l_x として求められます。この式から多少の近似を用いて導くと

• γ符号: Pr[x] = 1 / 2x²
• δ符号: Pr[x] = 1 / 2x(logx)²

という分布が得られます。これが各符号が暗に持つ確率分布です。

ギャップリストを固定長バイナリ符号で表現した場合よりも、これらの符号で符号化した方が圧縮できるということは、この各符号の確率分布がギャップリストにより適した分布になっている、と言えそうです。実際には、ギャップリストが持つ実際の確率分布と各符号化手法が暗黙に持つ確率分布の違いが小さければ小さいほど、最適な符号長となります。Wikipedia の Univeral code によれば、二つの確率分布の距離は Kullback-Leibler ダイバージェンス (KLダイバージェンス) で定量化することができて、この値が小さいほど最適な符号長に近づくとのことです。

"Universal code" (ユニバーサル符号) という言葉が出てきました。*1 整数の符号化の文脈でユニバーサル符号というのは、確率分布が monotonic (整数を i としたとき Pr[i] ≧ Pr[i + 1] ・・・ つまり、大きい数ほど出現確率が下がる) な分布のとき、その分布が実際にはどんな分布であるかに関わらず、最適な符号の定数倍程度の長さの符号長に符号化できる符号化手法だそうです。γ符号やδ符号はユニバーサル符号です。Wikipedia によると、ユニバーサル符号の分布は冪上則な分布 1/n² に近似することができて、この分布に対してはユニバーサル符号が最適に近い符号長を実現することが分かっています。IIR 5章によると、γ符号はギャップリストをエントロピーの 2 ~ 3 倍程度に抑えることができるそう。

まとめます。γ符号やδ符号は暗黙的に確率モデルを内包していて、それがギャップリストを表現するのにより適した確率分布となり、結果として圧縮効果が得られます。また、ユニバーサル符号としてのγ符号、δ符号は実際の確率分布がわからなくても、符号長を最適な平均符号長の定数倍に収められるという特徴を持っています。ですから、ギャップリストが実際にどのような分布になっているかは分からなくても、γ符号やδ符号で符号化すると、とにかく結構な圧縮率で圧縮できるというわけです。

幾何分布に最適なゴロム符号

ユニバーサル符号は実際の確率分布に関わらず圧縮を実現するのですが、ギャップリストの実際の確率分布を仮定して、その確率分布に適したモデルを考えるとどうなるでしょう。転置インデックスのギャップリストはベルヌーイ試行でモデル化することができ、その結果として確率分布は幾何分布 (ja.wikipedia.org) になります。

このモデル化に関しては、MG 輪読会で id:sleepy_yoshi さんの説明が分かりやすかったです。 [ 4, 3, ... ] というギャップリストは、4 が出た後、5, 6 が出ないで、7 が出たということを示します。これを定式化すると、ある単語が確率 (1-p) の確率で x - 1 回出現せず、その後に確率 p で単語が 1 回出現する確率 Pr[x] = (1-p)^x-1p となって、幾何分布となります。

そして幾何分布に対して最適な符号長を達成する符号化手法としてゴロム符号 (en.wikipedia.org) が良く知られています。MG によるとこれは参考文献 [5] で証明されているとのことです。ゴロム符号はパラメータフリーなγ符号やδ符号とは異なり、符号長を調整するためのパラメータが必要になります。このパラメータは転置インデックスの場合、全体の文書数や単語の数から求めることができます。よって、ギャップリストを圧縮するのに、ゴロム符号は良い選択肢となります。

MG 第3章の途中までですが、整数の符号化によって圧縮効果が得られる云々、というのはこんなところになります。

まとめ

整数の符号化手法によってギャップリストを圧縮するにあたって、なぜそれで圧縮されるのかを見てきました。

整数の符号化手法は他にも色々あるのですが、ここでは自分がよく目にする Variable Byte Code、γ符号、δ符号、ゴロム符号について見てきました。整数の符号化が面白いのは、符号化対象が整数であるという特徴から、符号化の手法そのものが暗黙のうちに確率モデルを規定するというところです。この確率モデルが与える確率分布によって、どの程度の符号長で整数群が表現できるかが決まり、それが結果として最適に近い分布であるほど圧縮効果が得られるということでした。

Managing Gigabytes: Compressing and Indexing Documents and Images, Second Edition (The Morgan Kaufmann Series in Multimedia Information and Systems)

• 作者: Ian H. Witten, Alistair Moffat, Timothy C. Bell
• 出版社/メーカー: Morgan Kaufmann
• 発売日: 1999/05/15
• メディア: ハードカバー
• 購入: 3人 クリック: 1回
• Amazon.co.jpで詳細を見る

参考文献, URL

• [1] C. D. Manning, P. Raghavan, H. Schutze , Introduction to Information Retrieval, Cambridge University Press, 2008
• [2] Ian H. Witten, Alistair Moffat, Timothy C. Bell, Managing Gigabytes: Compressing and Indexing Documents and Images, Morgan Kaufmann Publisher, 1999
• [3] Universal code (data compression), Wikipedia
• [4] Gallager, R. van Voorhis, Optimal source codes for geometrically distributed integer alphabets, IEEE Transactions on Information Theory, 1975
• [5] 広井誠, Algorithms with Python / 整数の符号化, 2007
• [6] 岡野原大輔, "圧縮アルゴリズムの基礎・応用・実例", C Magazine 2006年 1月号, ソフトバンククリエイティブ

[1] の第5章で、転置インデックスの圧縮の話があります。Variable Byte Code とγ符号についての解説が中心です。[2] でも同様に転置インデックスの圧縮として整数の符号化が解説されています。[2] の解説の方がより濃度は濃いです。[3] にはユニバーサル符号について概要があります。[4] ではゴロム符号が、幾何分布に対して最適な符号長を与えることについて言及されているそうです。(未読です)

[5], [6] には各種整数符号化の実装方法があります。[5] には Python による実装、[6] には C++ のそれが記載されています。Perl による拙作の習作は id:naoya:20081015:1224084885 などをご覧ください。