MeCab

結構詰まりやすいので書きます mecab導入(ubuntu想定) 前提知識：必要なアセットが異なる コマンドライン上で使う: mecab スクリプト上で使う: mecab-python3 mecabの導入 1. MeCabのインストール $ apt install mecab libmecab-dev mecab-ipadic-utf8 2. mecab-python3のインストール $ pip install mecab-python3 3. NEologdのインストール $ git clone --depth 1 https://github.com/neologd/mecab-ipadi…

自然言語処理できるようになりたい 日本語NLPで知ったような事が言いたいので、浅く広く急いで勉強する とりあえす使いたいNLPのソフトウェア 基本言語：Python 形態素解析：Mecab 係り受け解析：CaboCha （計量テキスト分析：KH Coder） 環境構築① ローカル環境 構成 windows10 64bit python 3.7.6 Anaconda 1.7.2 Mecab 公式32bit 0.996 CaboCha 公式 0.69 Mecab-python バインド mecab 情報散在混乱しすぎで焦る 大目的はKH Coder以外はPythonで全部操作できるようにすること。…

これはなに？ 前回自然言語処理をする環境構築をやってみたので、GWの宿題として実際に分析をやってみました。 せっかくなので自分が好きな分野で分析してみたかったので、好きなアーティストのポルカドットスティングレイの歌詞データを自然言語処理、分析してみました。

これはなに？ 業務で自然言語処理をすることが多くなって、環境構築するのがメンドイのでコンテナ化してみました。 形態素解析のためにMeCab、Word2Vecを利用するためにgensimをそれぞれインストールし、プラットフォームとしてJupyterLabを利用できるようにしています。

ふと、桃太郎に似た昔話ってなんだろうと思いコサイン類似度を使って桃太郎に似た昔話を探してみました。今回は mecab にneologd 辞書を使ってます。 昔話の取得先 文章の類似度の計算 コサイン類似度 環境準備 類似度の算出 事前準備（追加インストール） mecab-python3 インストール neologd 辞書インストール 動作確認 昔話のファイル作成 桃太郎 浦島太郎 さるかに合戦 一寸法師 わらしべ長者 pythonスクリプト 実行結果 昔話の取得先 昔話は以下のサイトのものを使わせていただきました。 www.douwa-douyou.jp 文章の類似度の計算 コサイン類似度 コ…

インターネットで「こころ 読書感想文 例文」で検索して得られた文章をまとめて一つのファイルに作成し、そこからMeCabとMarkovifyを使って感想文を作成します。 python code pythonのコード例です。 import MeCab import markovify file_name =open('souseki.txt') text=file_name.read() tagger = MeCab.Tagger("-Owakati") text1 = tagger.parse(text) model = markovify.Text(text1,state_size=2) se…

はじめに こんにちは！はやいもので、もう12月ですね！これは、SLP KBITアドベントカレンダーの4日目の記事です。他の部員の記事は以下からご覧ください！ adventar.org今回は、タイトルにもある通り、はてなブックマークで、自身がブクマしている記事のタイトルからキーワードを抽出し、ワード・クラウドの画像データを作成します。ワード・クラウドから、自分はこういうキーワードに興味を持っているというものを見ることが出来れば、面白いなと思っています！ はじめに ワード・クラウドとは 開発環境 コンテナのイメージ 使用する主なライブラリ tree ブクマ記事のタイトルを取得する ワード・クラウド…

はじめに ちょうど最近、上司とキャリアパスの話をする機会がありました。 その中で、データエンジニアとアナリストのどっちの道に進むか迷っている、という話をさせてもらいました。 またデータエンジニアとして吹っ切る、という考え方もあるとは思っています。 ただ現時点では、アナリスト要素をキャリアに取り入れたい、と何となく考えてます。 そこで、データエンジニアとデータアナリストとしてのキャリアを成功させる？ためにどんな要素が自分に足りないのか？をメモ書きとして残していこうと思います。 もうちょっとスペック的なことを書いた方が良いかもですが、分かっていること・分かってないことを書けば自明になるかなと思って…

はじめに 医療・介護・ヘルスケア・シニアライフの4つの領域で高齢社会の情報インフラを構築している株式会社エス・エム・エスのAnalytics&Innovation推進部（ 以下、A&I推進部）でデータ分析基盤開発を担当している長谷川です。 A&I推進部はエス・エム・エス社内のデータを横断的に収集し、データの分析や加工から、データに基づく施策までを行う部門で、現在は介護事業者向け経営支援サービスである「カイポケ」や、介護職向け求人情報サービスである「カイゴジョブ」のデータ分析やレコメンドシステムの開発を行っています。 今回はその中で「カイゴジョブ」における介護求人の課題をディープラーニングによる…

はじめに 非エンジニアのpython初心者が、頑張ってPySimpleGUIを用いて単語を選び出すプログラムを作ってみました。 メンターがいないためここら辺が自分の限界かなとおもう今日この頃ですが、とりあえずめげずにコードを書きまくるという思いで作りました（笑） こんな人におすすめ python初心者 アイデアを強制的に引き出したい人 オリジナルの単語を作りたい人 はじめに どのようなプログラムを作ったのか 用意するテキストファイルについて 単語を生成してみる エラーを吐く処理について 単語の生成を繰り返す コード 反省点 参考文献 おわりに どのようなプログラムを作ったのか はじめて作成した…

doccanoは、アノテーションツールであり、文章分類や固有表現抽出、感情分析などの教師データの作成ができる。 github.com doccanoでは、固有表現抽出(Named Entity Recongnition)のアノテーションをした後に教師データとしてjsonlファイルが作成される。 固有表現抽出のモデルを作る場合、CoNLL形式へ変換したい場合がある。 変換する際には、doccano-transformerという便利なライブラリがあるのだが、日本語の文章を形態素解析しつつ、CoNLLファイルに変換する方法がわからなかった。 （もしかしたら、以下で簡単にできるかもしれない） gith…

青山学院大学の日本語表現法開発プロジェクトから誕生した日本語校正ツール「Tomarigi」をWindows10で使用しました。 Tomarigi 3 on Windows 10 いくつか躓いたポイントがあったのでまとめます。 TL;DR MecabとCabochaはShift-JISで導入する TomarigiのZipファイルはShift-JISとして解凍する Unicode対応ではないプログラムの言語を設定する MecabとCabochaはShift-JISで導入する TomarigiのWebサイトに書いてあるとおり、※デフォルトのインストールオプションにて(文字コードは、Shift_JIS…

こんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 みなさんは、BERTなどの学習済み言語モデルに対して語彙を追加したくなることはありませんか？ 諸々の論文(こちらやこちらやこちら)により、特定ドメインやrare-wordの語彙を追加することによって、性能が上がることが知られています。 そこで、語彙を追加しようと思い、TransformersのTokenizerの仕様を見ると、add_tokens という関数があります。これを使えば、tokenizerに語彙を追加できるので、あとは…

はじめに マイクロアドで機械学習エンジニアとして働いている守屋です。 21卒として新卒入社し、配属後はWebページのカテゴリ分類精度改善や、広告オークションの入札戦略改善に取り組んでいます。 この記事では、私が新卒開発研修終了後に取り組んでいた、 Webページのカテゴリ分類アルゴリズム刷新の背景、問題設定、使用した手法や主に工夫した点などについて紹介します。 はじめに Webページのカテゴリ分類刷新の背景 Webページカテゴリ分類の問題設定 分類モデルの構成 SWEM(Simple Word-Embedding Model) 入力となる文書の前処理 ラベル不均衡に対する対処 カテゴリ構造を考慮…

どうもこんにちは。ごちそうフォト ( https://gochisou.photo/ ) 管理人の あくあーら ( https://gochisou.photo/@aquarla) と申します。 ごちそうフォト Advent Calendar 2021 ( https://adventar.org/calendars/6210 ) 25日目の記事となります。 私が管理しているマストドンサーバ「ごちそうフォト」では、標準のマストドンとは異なる機能をいくつか独自に提供しています。 Advent Calendar 最終回の今回は、「Fediverseの飯テロを支える技術」と題し、ごちそうフォトの独自…

前回までのあらすじ：2020年に作ったソフトウェアや開発技術をふりかえる - laiso Write Code Every Day プログラマーの人にありがちな趣味だと思うんだけどWrite Code Every Day （John Resig - Write Code Every Day）を2008年ぐらいからやっていて、昼に仕事でコード書いて夜になったら自分の楽しみのために何か作るか〜というのを繰替えして生活してる。 John Resig の記事との違いは今読みながら比較していたんだけどGitHubに上げるっていう部分はやらなくなってしまった。クレデンシャルとかハードコードしてるやつとか半…

はじめに ジャパニーズカルチャーと言っても過言ではない、ライトノベル。 そこで今回は、流行りのライトノベルにはどのような特徴があるのかを調べてみました。 はじめに 使用した技術 方向性の確認 ライトノベルのランキングサイトを決めて、そこからHTMLを取得する Beautiful Soup でHTMLを解析し、あらすじ部分のタグを取得する あらすじ部分を取得し、textファイルとして保存する 保存したtextファイルを整形する WordCloudで可視化してみる 参考文献 おわりに 使用した技術 スクレイピング Beautiful Soup Requests WordCloud 方向性の確認 今…

この記事はClassi developers Advent Calendar 2021の22日目の記事です。 私は推理小説をよく読むのですが、昔から結構読んでいるためストーリ展開、トリック、などにパターンがあると思うようになりました。 そして読んできた各小説を自分の独断と偏見によってパターン分けしました。例えばアガサ・クリスティーの小説のような王道の推理小説パターン、最近多いですが最後の最後で全てをひっくり返すような展開の大どんでん返しパターン、そして犯人視点で書かれたパターンなどです。 こうやってパターン訳すると何が嬉しいのかというと、「お勧めの推理小説は？」と聞かれた時にその人の好みを聞い…

先日こんなツイートを見ました。 10代の方から「歌詞に英語のフレーズが入っていたら昔の曲」と言われて脳をかち割られたような衝撃を受けています。たしかに最近の歌、英語フレーズがない。— トイアンナ/ライター (@10anj10) December 7, 2021 それに対して、 たしかに！ いやそんなことなくない？ たとえばこの曲…… 聴いてる曲が偏ってると思う！ など、いろんな人が意見を出していました。 歌詞の話で盛り上がれてたのしいですね✨ でも、実際に最近英語のフレーズがある曲が減ってるかを示している人はいないようでした。 togetter.com みんなの反応こんなにあるのにね！*1 最…