2010-07-20
■FNG15参加者募集
7月24日開催の FNG15 「バイナリ内の文字列」の参加者募集を開始します。テーマの設定が超適当なのは気にしないでいただければです。バイナリファイルを眺めて、日本語文字列を探すだけの勉強会です。
なお、言い出しっぺの @hasegawayosuke さんはデフォルトなので、お申し込み不要です ;-)
■KaniGramの素案
Twitter のほうでちょっと出ていた、KaniGram コンセプトは以下のようなものになります。まぁ KaniGram の実装方法については色々と突っ込みどころがあるかとは思いますが、この案をベースに新たに誕生する Kani ツール（名称は不明）を FNG15 では試してみたりする予定です。（現時点での実装はだいぶ違うという噂もあるみたいですけど）
■KaniGram
PageFile.sys や Unallocated Clustersといった未使用領域内にある日本語文字列検出を目的としたスクリプト。
キーワード検索ではヒットしにくい文字列や、Webメール痕跡などの文字列痕跡を EnCase 上から目視確認する為のツール。
・未使用領域内の日本語文字列を検出
・日本語としては UTF-8、Shift_JIS、ISO-20220-JP
バイナリデータからの日本語文字列抽出に特化する事で、今後の Web メールの解析などをより効率化する。
■日本語の特徴
全角ひらがな、または全角カタカナの3文字（任意）のパターンは漢字と異なり文字コードの16進数範囲が絞りやすいことと、平仮名または片仮名は文章中に比較的出現しやすい文字列であることから、漢字文字ではなく日本語特有文字列を利用したパターン検出に利用できると考えられる。
2文字ではノイズが増える可能性が高いので、3文字を規定値とするがスクリプト上から文字列長は可変になることが望ましい。
■例）3文字のGREPパターン
[あ-ん][あ-ん][あ-ん]
[ア-ン][ア-ン][ア-ン]
文字「あ」から「ん」またはカタカナの範囲文字を定義。
これをUTF-8 または 932 などのCode Page を指定して検索を行なうことで平仮名またはカタカナ部分についてヒットを行なう。
※問題点として、一つの文章中で平仮名とカタカナが混在することから、近接した文字列で重複してヒットする箇所が出るため、ヒット位置から100バイト進めるなどの調整機能が必要。
■ISO-2022-JPのエスケープシーケンス
50221などのCode Pageでは、エスケープシーケンスが利用される、エスケープシーケンス3バイトを Grep パターンとして検索することで、ISO-2022-JP の文字列を検出することが可能になる。
1.全角片仮名への切り替え \x1B\x24\x42
2.半角片仮名への切り替え \x1B\x28\x49
3.ASCIIへの切り替え \x1B\x28\x42
※これも重複してヒットする箇所が出るため調整が必要
オフセット位置が近すぎる場合にはスキップしたい
■オフセット位置の調整
キーワード検索の結果、パターンにヒットしたオフセット位置から指定バイト数を進めて次のパターン検索を行なうことが望ましい。
例えば、[あ-ん][あ-ん][あ-ん] のパターンがヒットした位置から、次の検索は 100バイト進めてから行なうなどにより、重複ヒットを減らすことが可能になると思われる。前回のヒット位置から、一定範囲内の文字列は同じ文章の文字と考えスキップするほうが全体を見通しやすくなる。
懸念点として、ひがな・カタカナ、ISO-20220-JPそれぞれのパターンで検索する必要がある？
■URLエンコードされた文字
UTF-8の文字列については、日本語が3バイト長になる特徴を利用し\xE3から\xE9範囲の%文字と%が続く文字列の検出を想定。
Googleなどの検索キーワードを想定するので「あ」〜「�遏廚泙任諒源�範囲をとりあえず定義（これも3文字分などで検索が必要）
GREPの例）UTF-8
\x25\x45[\x33-\x39]\x25..\x25..
GREPの例）932
\x25[\x38-\x46][\x32-\x63]\x25..
但し、932 のパターンは UTF-8 または EUC-JP で一致するケースがありノイズが増える。ヒットした位置の URL 文字列については、URL 文字列をデコードしてブックマークする必要がある。
