MeCab

Pythonで自然言語処理を行うためには、MeCabと呼ばれる形態素解析器を使用することができます。MeCabは日本語のテキストを単語や品詞などの形態素に分解することができ、Pythonから簡単に利用することができます。本記事では、MeCabを使った日本語の形態素解析の方法を具体的な例とコードを交えて説明します。 (adsbygoogle = window.adsbygoogle || []).push({}); MeCabのインストール まずはじめに、MeCabをインストールする必要があります。MeCabはPythonのライブラリではなく、コマンドラインツールであるため、別途インストールが必…

MeCabのRuntimeError（Windowsでのpythonにて） エラー内容 環境 解決策 その前に コメント MeCabのRuntimeError（Windowsでのpythonにて） エラー内容 _MeCab.Tagger_swiginit(self, _MeCab.new_Tagger(*args)) RuntimeError 詳細 Traceback (most recent call last): File "mecab_test.py", line 6, in <module> mecab = MeCab.Tagger("-O chasen -d /var/lib/mec…

こんにちは。ふらうです。 今回、Doc2Vecというものに触れていきたいと思います。 使用環境 OS Windows 10 Home Anaconda（windows） Python 3.7.16 CPU Intel(R) Core(TM) i9-10900 CPU @ 2.80GHz 2.80 GHz GPU NVIDIA Geforce RTX 3070 メモリ 32GB gensim 3.8.3 Doc2Vecとは Doc2Vecの2種類のアーキテクチャ PV-DM（Distributed memory Model of Paragraph Vectors） PV-DBOW（Distri…

RMeCabをMac、しかもUTF-8環境で使いたいという条件で色々やって大変だったので、過程をメモしておきます。 ついでにcondaをメインで使っている都合上、Homebrewはインストールしないものとして環境を構築します。また、前提としてXcodeからコンパイラーはインストールされているものとします。 さらにインストールするMeCabは本体が「mecab-0.996.tar.gz」、辞書が「mecab-ipadic-2.7.0-20070801.tar.gz」とします。 MeCabのインストール 1. MeCabのダウンロードとインストール 2. 辞書のインストール 事前にnkfコマンドを…

はじめまして。キュービックでWebエンジニアを担当しているthと申します。 本年（2022年）は梅雨をすっ飛ばして突然真夏に突入してしまいましたが、みなさんいかがお過ごしでしょうか。 背景・概要 さて、早速ですが今回のお話の概要です。 複数のECサイトにて販売されている商品を一つのサイトにまとめて掲載する、いわゆる「価格比較サイト」のようなサービスの展開を検討しました。 このときに、各ECサイトにてJANコードのような商品が一意に識別できるIDが付与（掲載）されていればそれを元に「同一商品である」と簡単にみなすことができますが、サイトによって付与されているIDがまちまち、またはそもそも掲載され…

おわりんです。 最近、「死ぬまでにやりたい１００のリスト」を作りました。 作った理由については、また今度述べたいと思います。 今日、記事にしたかったことは、ワードクラウドを超簡単に、誰でも作れるアプリを作ったことです。自分がやりたいことをワードクラウドで可視化してみました。 どうやら、僕の頭は家族の事がとても多いことがわかりました。 ワードクラウドとは 作成手順 ①エクセルファイルで表を作り、CSVファイルで保存。 ②wordcloud_02を実行する（exeファイルダウンロード） ③アプリが立ち上がる。 ④赤枠の「参照」から、ワードクラウドにしたいCSVファイルを選択する。 ⑤保存したい場所…

データエンジニア兼バックエンドエンジニアの @kazasiki です。 今回は2022年現在のPythonおよびmecabまわりの事情をつらつらとまとめたいと思います。 日本語の自然言語処理（特に形態素解析）を扱う場合はよくお世話になるツールなのですが、mecab自体が歴史のあるツールだったり、辞書データにも栄枯盛衰があったり、ビルドが大変だったり、という感じで、初学者にはやさしくない要素が満載です。 実際に開発に使う際もプロジェクトによって環境構築や利用方法がばらついたりする可能性もあります。実際、社内でも少し問題になったことがあるので、今回ちょっと整理するための記事を書こうと思った次第です…

（本記事は2023/5/26時点の情報にアップデートしております） こんにちは、技術広報のyayawowoです。 突然ですが、株式会社ラクスと聞いて何を思い浮かべますでしょうか？ 弊社ラクスでは、様々なプロダクトを展開していますが正直認知度は低いと思っております。 そこで今回、弊社についてもっともっと知っていただくため・・・ ラクスが展開している全10プロダクト 全10プロダクトの技術スタック インフラ/SRE/デザイナーの技術スタック について、ご紹介させていただきます！ SaaS開発に携わる方、弊社に少しでも興味を持っている方の一助となれば幸いです！

『意思決定分析と予測の活用』を読んだ(´_ゝ｀) ぱっと見、ちょっと難しそうだと思って買ってから放置してたんだが、実際はかなり分かりやすくて基礎的な内容だった。 統計学をちょっとかじってたり、scikit-learnで機械学習の実装をした経験がある人にとってはより一層分かりやすいかと思う。 何より、掲載されてるPythonのコードを全部写経してみたが、ちゃんと実行できたのが素晴らしい。 2年前の本だけど、時間経つとコードが古くなってライブラリとか読み込むとエラー出すやつあるからね(´_ゝ｀) ところでこういう本での「あるある」だけど、申し訳程度にPythonの初歩的な説明が載ってるのはなんか損…

こんにちは。 レトリバでは、研究動向・業界動向の把握のため、研究グループの人間は積極的に国内学会に参加しています。今回は、自然言語処理国内最大級のカンファレンスである言語処理年次大会に参加しました。 言語処理年次大会の概要 言語処理年次大会は名の通り、自然言語処理学会が年に一度開催する学会です。主に国内の自然言語処理の研究者が一同に解する機会でもあります。レトリバは創業以来スポンサーしており、今年もゴールドスポンサーとして支援いたしました。本年は数年ぶりに沖縄で現地開催され、過去最大の参加者数、論文投稿数でした。また、運営委員の方々の多大な努力により、参加者間の交流も活発行われていました。運営…

ランキング参加中プログラミング ハピタス登録で1,000円分になるURL 明日の天気予報が雨だったらLチカさせたい まずは天気予報 このソースまんま写す www.gis-py.com 東京地方の天気 $ vim myTENKI.py 実行 $ python3 myTENKI.py 確認 $ cat myTENKIreport.csv オッケー取れてる。 伊豆諸島とか要らないから、東京地方のみに絞る。 $ cat myTENKIreport.csv | egrep '.*都道府県.*|.*東京地方.*' 今日、明日、明後日の3日間の予報が出るらしい。 今日が 2027/5/7 だから 明日202…

こんにちは！ノイです。 token(トークン) 自然言語処理において、単語を分割することは非常に重要です。しかし、日本語のような言語では、単語と単語の区切りが明確でないため、単語の分割は非常に難しいものとなります。このような問題を解決するために、BERTの日本語モデルでは、MeCabを使って単語を分割しています。 BERT BERTは、トークンを単位として文章を扱います。トークンとは、文章を意味のある単位に分割したものです。このトークンに分割する処理をトークナイズと呼びます。トークナイズされた文章は、BERTモデルに入力できる形に変換されます。 Tokenizer Tokenizerの役割はテ…

アプリ説明 占いたい時期を西暦で入力して、上半期か下半期を選択。占いたい星座を入力すると、占いサイトより該当の星座占いをスクレイピングして、結果をテキストマイニングして画像を生成させます。 生成した画像はLINE Notifyを使用して自分のアカウントに送信されるようにしました。 生成される画像のイメージ 使用したライブラリ WordCloud ワードクラウドの生成 https://pypi.org/project/wordcloud/ Janome 形態素解析エンジン https://pypi.org/project/Janome/ https://github.com/mocobeta/j…

はじめに わーい、ホッテントリ、わーい！🙌1 nikkieです。 固有表現抽出（NER）タスクをCRF（Conditional Random Fields2）で解く実装の理解を深めたく、チュートリアルで素振りしました。 目次 はじめに 目次 Hironsanによるチュートリアル 素振り成果物 チュートリアルの概要 使うデータ 素性（特徴量）抽出 CRFsuiteを訓練 モデルの評価、結果の再現！ 終わりに Hironsanによるチュートリアル 素振りに選んだチュートリアルはこちら。 Hironsan（中山光樹さん）は機械学習やPython本の著者・訳者3であり、doccanoの非常に活動的なコ…

こんにちは。最近MC battleにハマっております、ISID 金融ソリューション事業部の若本です。 イベント現場にも何度か足を運んでおり、行くたびにその月で一番大きい声を出しています。 さて、そんなラップにがっつり影響を受け、今回はラップができるAIを作成してみます。 なぜ韻を検索するのか ～GPTでできるよね？～ その前に、2023初頭の現在、工夫なしにAIで高度なラップはできません。 なので、まずは韻を検索することから始めます。 「ChatGPTとかで普通にできるんじゃないの？」 と思われた方もいると思います。手始めにChatGPTに日本語でラップをさせてみましょう。 確かにラップしてい…

こんにちは。技術部機械学習グループの深澤(@fukkaa1225)です。 3月に沖縄で行われた言語処理学会2023に参加してきました。本連載の1つ目ではクックパッドとして「レシピに含まれる不使用な材料等に関する記述の抽出」という発表を山口(@altescy)がしてくれた様子をお伝えしました。自分は共著者兼聴講参加です。 本連載の2つ目となるこの記事では気になったり面白いと感じた論文やセッションを紹介していきます。 印象に残ったセッション1: 形態素・構文解析 形態素解析といえば MeCab ですが、一強というわけではもちろんなく、様々なアプローチが提案されています。今回のセッションでは KWJ…

前回結構苦労してMeCabをインストールした後の話。 defpediatric.hatenablog.com 自然言語処理を行うにあたって、文章を品詞分解する必要がある。 例を挙げると コンビニの糖質〜％off商品は脂質が多いことがあるからダイエット時には注意 コンビニ/の/糖質/〜/％/off/商品/は/脂質/が/多い/こと/が/ある/から/ダイエット/時/には/注意 (多分)こんな感じ。 そのためのソフトウェアが「MeCab」である。 今回の目的は3人の作家の文章の特徴を見分けるモデルを作ること。 まずは青空文庫のtxtデータをMeCabで分断する。 その前にルビを消したりデータを整理して…

ChatGPTに、二つの文章の類似度を判定してもらうPythonプログラムを書いてもらいました。最初の指示だとあまり使えないコードが出力されたので、そのあとに改良版として少し具体的に指示した結果ものせてます。 指示文(プロンプト)1: 二つの文章の類似度を判定するpythonプログラムを提示ください。比較する文章は標準入力とします。 回答: 以下はPythonで二つの文章の類似度を判定するプログラムの例です。入力された文章を前処理し、テキストの類似度を計算するためにcosine類似度を使用しています。 import re from collections import Counter impo…