nltk

今回も機械学習関連の記事である。 nltk.TreeのデータをPNG画像として出力したかったのですが、Docker環境で開発を行なっていた関係でちょっと手こずってしまった。 Docker環境でPNGを出力させる方法がなかなか見つからなかったので、記事としてまとめておく。結論としては、以下のstackoverflowの回答でうまくいった。 stackoverflow.com よくみる回答 発生したエラー エラーの原因 解決方法 余談：pngの背景を白に変更する方法

前回はテキストの品詞分解を試してみました。動詞には時制があり、形容詞や副詞には比較級があり、と分類すると、品詞のタグが英文の場合、36 にも上ることは、ある意味当然なのかもしれません。しかし、辞書で単語を調べる時のように、各単語をその基本形に帰着させ、基本形の使用頻度を見ることが出来れば、そのテキストの語彙の傾向が抽出できるのではないか、と期待したのですが…。 目次 １．動詞の基本形化 １．１ 基本形化の機能 WordNetLemmatizer １．２ Lemmatize された動詞の品詞タグの変化 １．３ Lemmatize された動詞の中身 ２．まとめと所感 １．動詞の基本形化 基本形化す…

先日テキストのトークン化を試してみました。内容によって大きく変わりそうですが、英文は、どういった品詞がどのような割合の下に成り立っているのでしょうか。前回に引き続き、『伝道の書』を品詞分解してみました。 目次 １．nltk の品詞取得 １－１．品詞取得の command １－２．品詞タグの種類 ２．『伝道の書』の品詞構成 ３．品詞別高使用単語上位 20 ４．まとめと課題 １．nltk の品詞取得 １－１．品詞取得の command トークン化したテキストの、単語の品詞は次のように取得できます。ついでに、どんな結果になるのか、print してみました。 pos = nltk.pos_tag(cl…

前回英文を nltk で読み込んだ際、言葉の集計や描画に matplotlib 等のライブラリが使えたので、日本語についてもそのつもりでいたのですが…。 何日かの印象でしかありませんが、（少なくとも私にとって）Python 自体の恩恵を簡単に受けられるという点では、Janome というライブラリの方がとっかかりは良いのかもしれない、と感じています。 目次 １．nltk による日本語の取り扱い ２．Janome を試してみる ３．まとめ ～ 自然言語処理と可視化 １．nltk による日本語の取り扱い すでに色々な方が試していらっしゃいますし、「Python による日本語自然言語処理」という、本の…