形態素解析

こんにちは。マネックス・ラボの戸谷です。 今回は以前の記事 ファンド検索の最適化 でお話した Elasticsearch による全文検索システムの開発についてお話をしたいと思います。 Elasticsearch とは？ 検索アルゴリズムについて N-Gram によるインデックス N-Gram による検索 形態素解析について ローカル環境での開発 どのようにインデックスするか？ どのように検索するか？ キーワード検索の最大スコアを事前に取得する 最大スコアを元にキーワード検索を行う スコアの解析 インデックスの更新 Elasticseach を操作するクエリ インデックス定義を削除する 現在のイ…

はじめに この記事では Django REST framework(DRF)を使って形態素解析をサクッとしてくれるAPIを作ろうと思います．完成したものは以下のようなものです． この記事ではサクッとやるために，詳細なDRFの中身を説明しません．例えば，serializerが何者とかviewが何者とかを説明するつもりはないです． はじめに DRFの環境設定 modelsを作成 serializersを作成 viewを作成 urlsを設定 まとめ DRFの環境設定 Djangoの環境設定は主にsettings.pyという場所で設定します．今回は以下のように設定します． # Application …

ふと、桃太郎に似た昔話ってなんだろうと思いコサイン類似度を使って桃太郎に似た昔話を探してみました。今回はmecabにneologd辞書を使ってます。 昔話の取得先 文章の類似度の計算 コサイン類似度 環境準備 類似度の算出 事前準備（追加インストール） mecab-python3インストール neologd辞書インストール 動作確認 昔話のファイル作成 桃太郎 浦島太郎 さるかに合戦 一寸法師 わらしべ長者 pythonスクリプト 実行結果 昔話の取得先 昔話は以下のサイトのものを使わせていただきました。 www.douwa-douyou.jp 文章の類似度の計算 コサイン類似度 コサイン類似…

構文解析とは？ 自然言語処理の根っことなる技術として構文解析というものがあります。 1. 構文解析の定義 文章を自然言語であれば、形態素(意味を持つ最小単位、平たく言うと「単語」)ごとに切り分け、 さらに、形態素の間の関連(修飾-被修飾など)を図式化などすることによって、 文章を明確にする(解析する)手続きのことです。 2. 形態素解析と字句解析(Tokenize) 構文解析を細かく分けると、形態素解析と字句解析(Tokenize)に分けられます。 ちなみに、字句解析は一般的にTokenize(トークン化)と呼ばれています。 形態素解析と字句解析(Tokenize)の違いは、簡単に言うと、対象…

潜在的なスキーマの問題を報告する。

制限とその設定。

40年前の金利wwww pic.twitter.com/zJ7qXvbsfi— 株吉 (@cischaba) 2021年4月2日 株ってもしかして、四季報2000ページ3800企業全部みて、日々の適時開示全部みて、新規上場の目論見書全部みてたら、わりと儲かる？— きしだൠ(K1S) (@kis) 2021年4月2日 四季報全部よめる人は、プログラミング言語習得にも、言語で用意されてるチュートリアルぜんぶやって言語仕様ぜんぶ読めばいけるんで、プログラミング教室いく必要もないな— きしだൠ(K1S) (@kis) 2021年4月2日 今日の土曜プレミアムは「北の国から〜'87初恋」を放送すると知っ…

インデックス名一覧。

DSV形式ファイル→テーブル。

一部SQLite3博士にしかわかならいヘルプがある。助けて。

select結果にカラム名を含めるか否か。

create文とか吐くヤツ。.schemaとの違いがわからん。

インデックスを提案してくれる。

終了コマンド。オプションで終了コード0〜255を与えることができる。

私の環境ではLibreOffice Calcアプリが起動した。

クエリプラン機能の有効化。