MeCab

Pythonで自然言語処理を行うためには、MeCabと呼ばれる形態素解析器を使用することができます。MeCabは日本語のテキストを単語や品詞などの形態素に分解することができ、Pythonから簡単に利用することができます。本記事では、MeCabを使った日本語の形態素解析の方法を具体的な例とコードを交えて説明します。 (adsbygoogle = window.adsbygoogle || []).push({}); MeCabのインストール まずはじめに、MeCabをインストールする必要があります。MeCabはPythonのライブラリではなく、コマンドラインツールであるため、別途インストールが必…

MeCabのRuntimeError（Windowsでのpythonにて） エラー内容 環境 解決策 その前に コメント MeCabのRuntimeError（Windowsでのpythonにて） エラー内容 _MeCab.Tagger_swiginit(self, _MeCab.new_Tagger(*args)) RuntimeError 詳細 Traceback (most recent call last): File "mecab_test.py", line 6, in <module> mecab = MeCab.Tagger("-O chasen -d /var/lib/mec…

こんにちは。ふらうです。 今回、Doc2Vecというものに触れていきたいと思います。 使用環境 OS Windows 10 Home Anaconda（windows） Python 3.7.16 CPU Intel(R) Core(TM) i9-10900 CPU @ 2.80GHz 2.80 GHz GPU NVIDIA Geforce RTX 3070 メモリ 32GB gensim 3.8.3 Doc2Vecとは Doc2Vecの2種類のアーキテクチャ PV-DM（Distributed memory Model of Paragraph Vectors） PV-DBOW（Distri…

RMeCabをMac、しかもUTF-8環境で使いたいという条件で色々やって大変だったので、過程をメモしておきます。 ついでにcondaをメインで使っている都合上、Homebrewはインストールしないものとして環境を構築します。また、前提としてXcodeからコンパイラーはインストールされているものとします。 さらにインストールするMeCabは本体が「mecab-0.996.tar.gz」、辞書が「mecab-ipadic-2.7.0-20070801.tar.gz」とします。 MeCabのインストール 1. MeCabのダウンロードとインストール 2. 辞書のインストール 事前にnkfコマンドを…

はじめまして。キュービックでWebエンジニアを担当しているthと申します。 本年（2022年）は梅雨をすっ飛ばして突然真夏に突入してしまいましたが、みなさんいかがお過ごしでしょうか。 背景・概要 さて、早速ですが今回のお話の概要です。 複数のECサイトにて販売されている商品を一つのサイトにまとめて掲載する、いわゆる「価格比較サイト」のようなサービスの展開を検討しました。 このときに、各ECサイトにてJANコードのような商品が一意に識別できるIDが付与（掲載）されていればそれを元に「同一商品である」と簡単にみなすことができますが、サイトによって付与されているIDがまちまち、またはそもそも掲載され…

おわりんです。 最近、「死ぬまでにやりたい１００のリスト」を作りました。 作った理由については、また今度述べたいと思います。 今日、記事にしたかったことは、ワードクラウドを超簡単に、誰でも作れるアプリを作ったことです。自分がやりたいことをワードクラウドで可視化してみました。 どうやら、僕の頭は家族の事がとても多いことがわかりました。 ワードクラウドとは 作成手順 ①エクセルファイルで表を作り、CSVファイルで保存。 ②wordcloud_02を実行する（exeファイルダウンロード） ③アプリが立ち上がる。 ④赤枠の「参照」から、ワードクラウドにしたいCSVファイルを選択する。 ⑤保存したい場所…

データエンジニア兼バックエンドエンジニアの @kazasiki です。 今回は2022年現在のPythonおよびmecabまわりの事情をつらつらとまとめたいと思います。 日本語の自然言語処理（特に形態素解析）を扱う場合はよくお世話になるツールなのですが、mecab自体が歴史のあるツールだったり、辞書データにも栄枯盛衰があったり、ビルドが大変だったり、という感じで、初学者にはやさしくない要素が満載です。 実際に開発に使う際もプロジェクトによって環境構築や利用方法がばらついたりする可能性もあります。実際、社内でも少し問題になったことがあるので、今回ちょっと整理するための記事を書こうと思った次第です…

この記事はDenoのカレンダーの2日目の記事です qiita.com Deno+CanvasでPowerline風のOGP画像を動的に設定できるアプリケーションを作ったのでその紹介です Powerline風のOGP生成ツール イメージ 主にOGP用途で、こんな画像を返すサーバを実装した 画像Generator terminal-image.deno.dev/generator https://terminal-image.deno.dev/generatorterminal-image.deno.dev GitHub swfz/deno-terminal-image 背景 本ブログ以外にも自前…

Rewrite-Retrieve-Readの論文[1]の構成で検索性能が改善するか試してみました。内容としては、RAGの内部で検索するときに、ユーザーのクエリを書き換えると性能が上がるという話です。ユーザーのクエリが検索に適しているとは限らないため、LLMで書き換えてから検索しようというアイデアになります。論文では、強化学習を使って書き換え用のモデルを学習する検証もしていますが、既存のLLMに書き換えさせても効果があるという結果になっています。 Rewrite-Retrieve-Readの構成。画像は[1]より。今回は真ん中の構成を採用。 本実験では、GPT-3.5 Turboを利用して、元の…

近年、大規模言語モデル（LLM）の進化は、自然言語処理の分野において画期的な変化をもたらしています。とくに、OpenAIのGPT-4のようなLLMは、その応用範囲の広さと精度の高さで注目を集めており、多くの研究者や開発者が新たな利用方法を模索しています。本記事では、これらのLLMを活用したマルチクエリ生成が、文書検索の性能向上にどの程度効果があるかを検証します。 文書検索は、入力されたクエリに関連する文書を返してくれます。しかし、ユーザーが入力する単一のクエリでは、常に最適な検索結果が得られるとは限りません。そこで、LLMを用いてクエリを複数生成し、それらを組み合わせることで検索結果を改善する…

高速で実行可能な日本語の係り受け解析ライブラリがないか調べていたところ、 J.DepP という 日本語係り受け解析器を見つけたので、紹介します。 C++で実装されているのもあり、かなり高速に動作する印象です。 サイトに記載されている通りに実行してもインストールできなかったので、google colab上で動作確認しました。 コードは Github の gist としてアップロードしています。 gist はこちら: https://gist.github.com/shihono/bc2a144c64d485439a0671b33fdeb220 インストール方法 分かち書き (mecabの形態素解…

自然言語処理で出現する単語の解説を書いていきます NLP（Natural Language Processing） 自然言語処理のことかっこよく英語にした感じ 自然言語 人間がコミュニケーションで使用する言語のこと 自然言語以外の言語はプログラミング言語や人工言語など 形態素解析 入力された文を形態素まで分解する技術 形態素とは、何らかの意味を持つ最小限の文字の集まりのこと 形態素解析で使用するツール MeCab JUMAN ChaSen 係り受け解析 文の中の単語や語句の構文的な関係を特定することで、文法的な構造を理解し、文中の単語やフレーズがどのように相互に関連しているかを示す依存関係を特…

この記事は Vim 駅伝 の 100 本目の記事です。 というわけでついに 100 本目です！ 私は言い出しっぺにも関わらず、記事はほとんど書けていません。申し訳ない…。 にも関わらず、ここまで続いたのは賛同してくれた皆さんの尽力によるものです。 おかげで新鮮な Vim の記事が定期的に届けられています。本当にありがとうございます。 さて、今回は 100 回ということで、普段書いてないくせにこういう時だけしゃしゃり出てきました。ずるいですね。 ここまでの Vim 駅伝の歩みをざっくり振り返ってみたいと思います。 投稿回数ランキング 投稿回数ランキングを集計してみました。対象はこの投稿も含む 1…

公開にあたって 本書は、2014年に刊行した同人誌『「ヤンキー」論の奇妙な位相：平成日本若者論史9』のまえがき及び第1章として書いたものです。同書は第2章を含めた全文が『「働き方」と「生き方」を問う』、またこの記事で公開した部分が『「劣化言説の時代」のメディアと論客』に収録されております。 特にサブカルチャー左派、左派”オタク”において、「ヤンキー」論と自民党・日本維新の会への支持を無理矢理結びつけた議論が目立ちます。その議論の差別性を今一度見直してほしいと思っています。 kazugoto.booth.pm bookwalker.jp www.dlsite.com techbookfest.o…

はじめに 前提 環境 Apacheインストール SSL対応 PHPインストール php.ini の設定 fpm の www.conf の設定 PHP動作確認 MySQLのインストール my.conf 設定 MySQL 初期設定 MySQLサーバーの確認 WordPress インストール WordPress用データベース作成 WordPress初期設定 最後に はじめに WordPress導入して、サイト作りたい。 なんか自分が形にしたものを集約させたい。 そのためにはLAMP環境が必要なので、環境を用意します。 前提 以下サイトを確認したところ、WordPress導入するためには、以下条件クリ…

私がMacBook Airを使い始めてから、もう8年半近くが経つ。今使っているのは2代目で、1年前の4月に買い替えた。つまり初代は7年間も使った計算だ。同じパソコンをこんなに長く使い倒した人間はそう多くないと思う。4年目くらいでヒンジが壊れてディスプレイが180度開くようになったし、バッテリーは完全に寿命が来てたし、買い替え7ヶ月前に(おそらくハードではなくドライバあたりの問題で)数字が打てなくなってKarabiner-Elementsで応急処置をした。まあ応急処置と言いながら7ヶ月使い続けたのだが*1。 最後の1ヶ月はDのキーが押せなくなり、コピペで凌いだ。ログインパスワードにdが含まれてい…

【書誌データ】 タイトル：Text Mining Maniax[word2vec編]――RとRMeCabによる日本語の単語埋め込みの基礎 発行日：2023年8月13日（コミックマーケット102） 著者：後藤和智（後藤和智事務所OffLine） サイズ・ページ数：A5、40ページ 価格：即売会600円、書店800円（税抜き） 通販取り扱い：メロンブックス https://www.melonbooks.co.jp/detail/detail.php?product_id=2034072 サンプル www.pixiv.net 【目次】 はじめに 第1章 word2vecとは何か 1.1 そもそもwo…

はじめに こんにちは、MNTSQ（モンテスキュー）のアルゴリズムエンジニアの清水です。本記事では事前学習済み言語モデルの一つであるLUKEを用いた固有表現抽出の実装方法について紹介します。 LUKEとは LUKEは、LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attentionにおいて提案された言語モデルです。LUKEは、単語とエンティティの文脈付きベクトルを出力する知識拡張型（knowledge-enhanced）の言語モデルであることが大きな特徴です。単語とエンティティの双方を独立したトーク…

形態素解析MeCabの辞書としてunidicを使用しているのですが，そのバージョンを知りたくて色々調べたのですが どうもはっきりと書いてあるところがなく，困ってました・・・・ 私はMacを使っているので，brew を使ってmecab-unidicとmecab-ipadicをインストールしてます．そのため，unidicとipadicは以下のフォルダにインストールされています． /usr/local/lib/mecab/dic/ したがって，PythonのMeCabでTaggerを定義するときは，unidicの場合 import MeCab tagger = MeCab.Tagger('-d /u…