文字列処理

こんにちは。LegalForce Researchで研究員をしている神田 (@kampersanda) です。 LegalForce Researchでは現在、高速なパターンマッチングマシン Daachorse（ダークホース）を開発・運用しています。文字列処理の基礎である複数パターン検索を提供するRust製ライブラリです。以下のレポジトリで公開されています。 github.com 本記事はDaachorseの技術仕様を解説します。具体的には、 複数パターン検索に関係する基礎技術（トライ木・Aho–Corasick法・ダブル配列） Daachorseの実装の工夫と性能 を解説します。 以下のよう…

はじめに 練習用のファイルのダウンロード ファイル内のテキストに対する処理 ある特定の文字列を含む行を表示する ある特定の文字列を含まない行を表示する ある特定の文字列を含まない行を別ファイルに出力する 空白行を削除する ファイル内の行数をカウントする 複数条件で、文字列の検索をする場合 grepでのAND検索 grepでのOR検索 ファイル名に対する処理 ある特定の文字列をファイル名に含むファイルを検索する サブディレクトリも含めて検索する 特定のファイルを検索して、消去する 補足 ターミナル・ショートカット cd : ディレクトリ移動 cat : ファイル内表示・結合・作成 head / …

はじめに テキスト処理の関連記事 python版simstringのインストール R言語で、simstringライブラリを実行してみる。 まとめ はじめに 文字列処理・テキスト処理とは、プログラミングを行うなかで、文字列・テキストに対する色々な操作のことを指します。それら処理をうまく使いこなすことで、文字列を自由に処理できるようになります。文字列処理の活用事例は、キーワード抽出、テキスト分類、テキストマイニングの前処理など、多岐に渡ります。 今回の「Rでの文字列処理」シリーズで扱う、文字列処理のライブラリ・関数群やプログラムコードは、R環境上で無料で提供されている、オープン・ソフトウェアを用い…

はじめに テキスト処理の関連記事 関連パッケージをロードする 文字列の抽出/切り出しについて 文字数指定で、文字列を抽出する 文字列の検出 「月の英語表記」を「月の数字」に置換する方法について 参考資料 はじめに 文字列処理・テキスト処理とは、プログラミングを行うなかで、文字列・テキストに対する色々な操作のことを指します。それら処理をうまく使いこなすことで、文字列を自由に処理できるようになります。文字列処理の活用事例は、キーワード抽出、テキスト分類、テキストマイニングの前処理など、多岐に渡ります。 今回の「Rでの文字列処理」シリーズで扱う、文字列処理のライブラリ・関数群やプログラムコードは、R…

はじめに テキスト処理の関連記事 下準備について 【１】完全一致で、その文字列を含むかどうかのの判定 比較演算子 == != base::match、stringr::str_match、演算子 %in% 【２】部分一致で、その文字列を含むかどうかの判定 charmatch関数、pmatch関数 grep関数、grepl関数、stringr::str_detect関数 【３】文字列部分一致の曖昧判定 base::grepl関数 stringr::str_detect関数 まとめ 補足 データフレーム全体に対して、文字列の置換を行う場合のTips TRUE/FALSEをカウントする 【応用編】文…

どうも！LSSです！！ さじ(id:conasaji)さんの記事、 conasaji.hatenablog.com を読みました。 その中で、 出来れば最初にどんな系列の単語を覚えたいのかを登録できたらいいですね。英文を読み込んだらその中から毎日ひとつずつ出てくるとか。 学び舎を求め。 - ゆるっと広告業界 と書かれていましたが、この「英文から英単語抽出」、作れる自信はありましたがそういえば作った事がなかったな、と思い、今回試しに作ってみました。 英文から英単語抽出 コード Google翻訳で英文ゲット！ 今回は英単語抽出してみただけですが 英文から英単語抽出 Once upon a time…

はじめに テキスト処理の関連記事 下準備について 【１】文字列ベクトルの連結 base::paste0 関数・ stringr::str_c 関数 stringr::str_c 関数 【２】文字列長のカウント base::nchar 関数 stringr::str_length 関数 ・ stringr::str_count 関数 補足 formatC関数を使って、出力文字列の桁数を揃える 連番数値を作成する 大文字 <=> 小文字の変換 参考資料 はじめに 文字列処理・テキスト処理とは、プログラミングを行うなかで、文字列・テキストに対する色々な操作のことを指します。それら処理をうまく使いこな…