ある文字列から切り出した一定個数の文字の並びの集合。また、その集合の種類や頻度を解析して得る、元の文字列の性質の記述。N=2の場合2-gram(bi-gram)、N=3の場合3-gram(tri-gram)、などという。
こんにちは。マネックス・ラボの戸谷です。 今回は以前の記事 ファンド検索の最適化 でお話した Elasticsearch による全文検索システムの開発についてお話をしたいと思います。 Elasticsearch とは？ 検索アルゴリズムについて N-Gram によるインデックス N-Gram による検索 形態素解析について ローカル環境での開発 どのようにインデックスするか？ どのように検索するか？ キーワード検索の最大スコアを事前に取得する 最大スコアを元にキーワード検索を行う スコアの解析 インデックスの更新 Elasticseach を操作するクエリ インデックス定義を削除する 現在のイ…
初めまして。今年度からブレインズコンサルティングに入社した福田直起です。 私は今、Pythonを使った言語処理を学ぶために、言語処理100本ノック2020に取り組んでいます。 そのアウトプットとして、これからこのテックブログに回答と解説を発表していきます。 今回は「第1章 : 準備運動」の10問を解説していきます。 この記事のレベル感 「Pythonについてif文やfor文などの基本的な使い方なら知っている初心者が、記事を通して言語処理におけるPythonの強みがある程度理解できるようになる」 というレベル感で解説していきます。 実行環境 Ubuntu 20.04.4 LTS Jupyter …
C# で実装する 参考 あいうえお あいうえの 上記のような文字列の類似度を計算するやり方には「n-gram」や「Jaro–Winkler distance」など色々なやり方があるみたいです。一番簡単と思ったやり方は「n-gram」でした。少し古いですが livedoor の技術ブログに紹介記事があります。 実装が簡単なのもあって ruby のコードで github に公開されているリポジトリーがありました。 とりあえず、Usage に掲載されている以下例は、２つテキストの一致度 0.266... になるみたいです。github の ruby コードを動かしてみます。（3-gram の例になり…
用語 機械学習 モデル 回帰 分類 データセット（dataset） 中間層 過学習（Overfitting） 特徴量（feature） 交差検証（cross-validation） パラメーター（parameter） スタッキング（stacking） 正規分布（normal distribution） 正規分布曲線（bell curve） アルゴリズム 二分探索法 幅優先探索 ham 離散値 決定木（decision tree） ランダムフォレスト（random forest） ロジスティクス回帰 カテゴリー変数（categorical feature） 歪度（skewness） 尖度（ske…
さすがに書かなさすぎていて，ちょっと本当にどうかしてほしいという感じになっている． 最近は，日本語誤り訂正の研究を追ったりしている．データセットとかもいろいろ揃えていて，ちゃんと調べていこうという感じになっている．できているかというと怪しい． 日本語の学習者データをいろいろと観察しているときに，なんかN-gram言語モデルとかでエントロピー測って単語分割できないかな〜〜〜 Harrisの分節原理とか言語処理学会の年次大会であったし〜〜〜 という気持ちになって，久しぶりにKneser-Ney言語モデルとかいうの勉強してみようとなって，調べたら，普通に実装して実験してで2日ぐらい消えてしまった．い…
導入 情報システム部サービス開発チームのNathanです。この記事ではElasticsearchについて学んだことをご紹介します。横山さん、翻訳をしていただきありがとうこざいました。 The English version can be found here. 目的 Elasticsearchを設定して使用するためのガイドは数多くありますが、大部分は英語のデータを対象にしたものです。この記事は、そのほとんどが日本語で占められたデータをElasticsearchで扱う上で、もし最初にこれを知れていたら嬉しかったという知識を詰め込んでいます。 elasticsearch Elasticsearch…
Python 実践 データ加工/可視化 １００本ノック」を購入したので、 一通りやっているところです。今日はノック60を行います。 資料は以下から入手できます。 Python実践 データ加工/可視化 100本ノック｜サポート｜秀和システム ノック60 : n-gramを作ってみよう 特長エンジニアリングの１つであるn-gramを作成します。 n-gramは文字列やbンしょうを連続するn個のまとまりで分割する手法です。 表層形データを使用します。 まずリストを作成します。 target = mecab_df['表層形'].to_list() print(len(target)) 実行結果 671…
こんにちは。エクサウィザーズで画像ギルドに所属し、機械学習エンジニアをしている小島です。今年の3月からこちらにジョインいたしました。 この記事では、弊チームで取り組んいるテーマ「Zero-shot Learning」について、歴史的な背景を振り返りつつ、簡単な実装を紹介します。今研究でホットな研究テーマの一つである「クロスモーダルモデル」を身近に感じていただければ幸いです。 Zero-shot Learningとは 「Zero-shot Learningとは何か」というのは、実は曖昧なテーマです。「これがZero-shotだ」という定義が論文によって異なるためです。わかりやすい理解の仕方として…
4記事にわたり、複数の古典的ngram言語モデルについて試しに実装してきました。 torchtextのデータセットを使ってきたので、pytorchで簡単な言語モデルを作ってみます。 元となる論文があるわけではないですが、ネット上に多数実装が多数あるので、それらを参考にしました。 実装コードは gist を参照してください。一番下に埋め込んでます。 参考資料について軽くまとめます。 アーキテクチャ NgramModel( (embedding): Embedding(28782, 100) (linear1): Linear(in_features=200, out_features=128, …
From Darwin to Derrida: Selfish Genes, Social Selves, and the Meanings of Life (English Edition)作者:Haig, DavidThe MIT PressAmazon 幕間 その2 幕間といいつつ，ここでヘイグはポジティブ淘汰とネガティブ淘汰の概念を説明し，適応主義者と構造主義者の違いの1つがネガティブ淘汰の認識にあるとほのめかした．そしてここからグールドの「外適応」概念についての痛烈な批判が始まる． 適応をポジティブ淘汰に限るという定義的制約は，しばしば「機能とは当初ポジティブ淘汰を受けたオリジナルな…
Visual N-Grams 画像分類 / 物体認識の手法. 人の手でアノテーションされたラベルを使わずに、画像に関連する文章を使って学習する. Natural Language Supervision yhayato1320.hatenablog.com 画像に関する文章のどこに注目したのかを、表現できる N-Gram モデルを利用. N-Gram yhayato1320.hatenablog.com N-Gram Language Model 参考 Learning visual n-grams from web data [2016] Abstract arxiv.org
前回に続いて、古典的な言語モデルについてpythonで実装して比較していきます。 eieito.hatenablog.com add-one や ELE は下の式をベースに、対象の単語の ngram と (n-1)gramの 頻度 を使って確率を求めていた。 今回は頻度 r に注目した手法です。 未出現の単語に対して頻度を振り分けるため、学習データ内での出現回数 r を調整する方法がある。 ここで、同じ出現回数であれば出現確率も同じとみなします。例えば、dog も pencil も互いに5回出現していたら、どちらも同じ確率を割り当てる。 前回と同様、詳細なコードは下記gistに記載しています。…
サイコロ本 (統計的自然言語処理の基礎) で確率的言語モデル(ngram言語モデル) のバリエーションについて少し勉強したので、実装して比較してみます。 ngram言語モデル スムージング 1-加算 (add-one) Lidstoneの法則 実装 前処理 データ tokenizer vocab count ngram エントロピーを算出 おわりに 参考資料 ngram言語モデル 長さnの単語列 において以下のように定義される確率 を推定するモデルのこと。 以下のように定義される。 ここで、 は条件付き確率。 1単語目から i-1 単語目までが である事象において、i単語目の単語が である確率…
どうも、カタミチです。 さて、画像処理の節の次は、音声処理と自然言語処理ですね。こちらもホットな分野ですよねー。早速見てみましょう！ データの扱い方 世の中には、時系列データが溢れていますね。時系列データと聞くと容易にイメージはつくんですが、共通してどんな特徴がある？と聞かれると詰まってしまいます。これに対する答えは、「ある時刻の状態が、それ以前の時刻の状態の影響を受けている」です。確かに！と思いました。 この時系列データを適切に扱うためには、データは時間軸に沿って入力すべきですし、ネットワークそのものにも、時間情報を反映できるような仕組みが必要です。 音声データの扱い 音声は本来、空気の振動…
漢字ル こういうやつです。ぜひトライしてみてくださいね。 プロトタイピングのつもりができてしまった！ 漢字版 Wordle。激ムズ漢字ル 1 8/20⬜⬜🟥🟧⬜🟥⬜⬜⬜⬜⬜⬜⬜⬜⬜⬜🟥🟥⬜⬜🟧⬜🟥⬜🟩⬜⬜⬜🟩🟩🟩🟩https://t.co/jgITM4Edb4 pic.twitter.com/oQLiWL8kun— 美顔器 (@motemen) 2022年2月2日 本家の Wordle を知らない人向けに解説すると、四字熟語当てクイズです。指定された回数のうちに当てないといけませんが、試行のたびに文字が合っているかどうかを教えてくれるので、絞り込みながら推理していきます。 漢字ルの独特なところ…
AWS認定のうち、機械学習に無事合格しました！これで全11冠達成です！！ 2019年にSAAをとり、そこから少し時間をあけ、丸1年かけて残り10冠を取得してきました。 今日は「AWS認定 機械学習ー専門知識」の勉強法と学んだことを書き出していきます。
japan.googleblog.com
sakuhindb.com
d.hatena.ne.jp
www.shuiren.org
gihyo.jp
atmarkit.itmedia.co.jp
www.s-yata.jp
blog.kozakana.net
gihyo.jp
