ある文字列から切り出した一定個数の文字の並びの集合。また、その集合の種類や頻度を解析して得る、元の文字列の性質の記述。N=2の場合2-gram(bi-gram)、N=3の場合3-gram(tri-gram)、などという。
こんにちは。マネックス・ラボの戸谷です。 今回は以前の記事 ファンド検索の最適化 でお話した Elasticsearch による全文検索システムの開発についてお話をしたいと思います。 Elasticsearch とは？ 検索アルゴリズムについて N-Gram によるインデックス N-Gram による検索 形態素解析について ローカル環境での開発 どのようにインデックスするか？ どのように検索するか？ キーワード検索の最大スコアを事前に取得する 最大スコアを元にキーワード検索を行う スコアの解析 インデックスの更新 Elasticseach を操作するクエリ インデックス定義を削除する 現在のイ…
親知らずを抜いたら血が止まらなくなりました。ko_ya346です。 言語処理100本ノック2020(Rev 2)を始めたので解法をまとめていきます。 00. 文字列の逆順 01. 「パタトクカシーー」 02. 「パトカー」＋「タクシー」＝「パタトクカシーー」 03. 円周率 04. 元素記号 05. n-gram 06. 集合 07. テンプレートによる文生成 08. 暗号文 09. Typoglycemia
博士1年生 評価と定義は表裏一体 修士論文（とCOLINGの原稿）を書いたことで，研究が再定義された。英語論文を執筆する上で役に立つ定型表現を提示するコンピュータシステムを作るためには，moveと対応の取れた定型表現を大量に用意しておく必要がある。このデータセットを作ることが研究テーマの最も重要な仕事であることが分かった。 その上で，主たる課題は2つ。まず，どうやって定型表現を抽出するか。これは質的な問題である。定型表現というものを定義できないなかで，役に立たない単語列をなるべく抽出しない手法が求められる。なおラベル付きデータはない。次に，どうやって定型表現にmoveのラベルを付与するか。ラベ…
晴れて大学院博士後期課程を修了できた。そこで，これまでの大学院生活を自分の研究テーマとともに振り返っておきたい。なお，華々しい話は一切無い。なかなか結果が出ず苦労した話がメインである。 修士1年生 テーマ決め 指導教員と雑談をしているうちに，英語論文を書くのを助ける何かに取り組もうということになった。元々英語が好きだったことと，卒論でも論文データに触れていたこともあって，自分に向いていると感じた。問題は，英語で論文を書いたことがないということだった。何が問題なのか，何があると助かるのかが分からなかった。そこで，研究室の先輩たちに聞いて回った。以下のような課題があることが分かった。 単語のfor…
こんにちは、「データ流通市場の歩き方」編集部の小澤です。 私たち株式会社日本データ取引所は、「日本のデータを民主化する」を企業理念（ミッション）として、データ流通市場の運営にとりくんでいます――と言うと、よく聞かれます。 「そもそも『データ流通』とは何なのでしょうか。データ分析とのちがいは？ データ活用との関係は？」 IT用語によくあるように、「データ流通」という言葉は、話し手や文脈によって微妙に意味がちがって、一般にはまだあまり知られていません。 そこで今回は、この言葉の歴史と、近年の用法について説明します！ 「データ流通」という言葉の歴史 語源は諸説あるものの、「データ流通」の訳語には、d…
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。最近、ユーザーの検索体験の向上のために、以下の検索評価に関する本を読んでいました。 情報アクセス評価方法論作者:酒井 哲也発売日: 2015/05/19メディア: 単行本 そこで今回は検索評価指標の1つであるsDCG (session-based Discounted Cumulative Gain)を使ってエムスリーの検索ログから体験の悪かった検索を抽出してみたのでその方法を紹介します。 現状の検索監視 現状の検索監視の問題 nDCG sDCG 線…
カスタマーサクセス部 研究チーム Chief Research Officerの西鳥羽 Jiro Nishitoba (@jnishi) | Twitter です。レトリバ全体の研究開発の取りまとめをしています。 微分可能重み付き有限状態トランスデューサー(Differentiable Weighted Finite-State Transducers)の紹介をします。
NMB48には珍しいオシャレソング 秋元康（作詞） 藤田克洋、N-Gram（作曲）加藤マニ（MV監督） ★★★★★★★★☆☆ (rating 8/10) 自主制作映画をテーマにしたダークオレンジに色振りされたMVがオシャレ スマッシュヒット狙いの音数の多いオシャレなポップソングは00年代のCD全盛期を彷彿とさせる。MVとしてはハイライトをメインにしたキラキラしたものにするのかと思いきや、感情的な雰囲気を演出するためのシャドウを落としてコントラストを高めたエモい感じになっていて、対照的ではあるがこれはこれでこれこれでいいのかもしれない。
どうもLibraです。 今回は自然言語処理(Natural Language Processing: NLP)でよく使われるN-gramという技術について解説します。シンプルでわかりやすい手法であることから、文字列検索や辞書生成など幅広い技術に応用されており、ここでは単語N-gramと文字N-gram、それらの使用例とPythonによる実装方法についてみていきます。 【目次】 実行環境 N-gramとは N-gramの使用例 単語N-gram ユニグラム(uni-gram) バイグラム(bi-gram) トライグラム(tri-gram) 文字N-gram ユニグラム(uni-gram) バイグ…
最近こちらの記事を拝見しました。 tech.jxpress.net 昨年くらいから、Streamlitはちょっとした話題になっており、良い機会だったので使ってみたので、今回はそのメモです。
長い英文を読みたいが、語彙力が足りない。未知語に会う度にいちいち辞書を引いていたら時間がかかって仕方ない。そんなあなたのために、英文の中の全ての単語とフレーズの意味を辞書で予め調べて注釈をつけるサービスを作った。これで赤毛のアンやトムソーヤの冒険を原文で読めるはず。
最近、昨年書かれたこちらの記事を見かけました。 www.takapy.work なんだか非常に良さそうな感じで実際に使ってみたので、今回は使ってみたときのメモです。
まだまだ使っているところが多いと思われるMySQL5.6が2021年2月のEOLになります。www.mysql.com意外に早いなーと思いましたが、ExtendedSupportはGAから8年なので、リリースされたのは2013年なんですね。 移行するのでしたら、5.7は2023年10月までいけるので、こちらに乗り換えるか、思い切って最新の8にするかの選択肢になると思います。8なら2026年まで大丈夫ですしね。5.7にして特に下記が使えるようになるのが大きいでしょうか。 ・JSON型のサポート ・全文検索での日本語サポート JSON型のサポート カラムの型にJSON型を使うことができるようになり…
レベル別の単語集を自動生成するという目標を持って、今までいろんなデータを集めてきた。必要なデータは全て揃っているが、レベル別の単語集という体裁に整える前に、辞書内の単語を重要順に並び替えて表示する機能を作ってみた。だいたい直感に合う結果になったのではないかと思っている。
japan.googleblog.com
sakuhindb.com
d.hatena.ne.jp
www.shuiren.org
gihyo.jp
www.atmarkit.co.jp
blog.kozakana.net
www.s-yata.jp
gihyo.jp
