nltk

pythonの自然言語処理であるnltkを使用して、記事のキーワードやサマリーを取得します。 前回の続きから書いていきます。 kankisenkowasuo.hatenablog.com from newspaper import Article https://sempremilan.com/milan-trend-gambling-with-coaches article = Article(URL) article.download article.parse() article.authors article.publish_date article.text article.titl…

自然言語処理（NLP）は、人間が日常的に使用する言語（自然言語）をコンピューターに理解させ、処理させるための技術分野です。Pythonの代表的なNLPライブラリであるNLTK (Natural Language Toolkit) は、研究や教育の現場で広く利用されており、豊富な機能と使いやすさが特徴です。この記事では、基本的な自然言語処理の方法として、環境準備からデータの前処理、品詞のタグ付け、固有表現抽出、構文解析といった具体的な処理、日本語への対応方法と注意点を解説します。 1. NLTKの概要とインストール方法 2. テキストの前処理 2.1 トークン化 2.2 ステミング 3. 品詞タ…

今回も機械学習関連の記事である。 nltk.TreeのデータをPNG画像として出力したかったのですが、Docker環境で開発を行なっていた関係でちょっと手こずってしまった。 Docker環境でPNGを出力させる方法がなかなか見つからなかったので、記事としてまとめておく。結論としては、以下のstackoverflowの回答でうまくいった。 stackoverflow.com よくみる回答 発生したエラー エラーの原因 解決方法 余談：pngの背景を白に変更する方法

前回はテキストの品詞分解を試してみました。動詞には時制があり、形容詞や副詞には比較級があり、と分類すると、品詞のタグが英文の場合、36 にも上ることは、ある意味当然なのかもしれません。しかし、辞書で単語を調べる時のように、各単語をその基本形に帰着させ、基本形の使用頻度を見ることが出来れば、そのテキストの語彙の傾向が抽出できるのではないか、と期待したのですが…。 目次 １．動詞の基本形化 １．１ 基本形化の機能 WordNetLemmatizer １．２ Lemmatize された動詞の品詞タグの変化 １．３ Lemmatize された動詞の中身 ２．まとめと所感 １．動詞の基本形化 基本形化す…

前回英文を nltk で読み込んだ際、言葉の集計や描画に matplotlib 等のライブラリが使えたので、日本語についてもそのつもりでいたのですが…。 何日かの印象でしかありませんが、（少なくとも私にとって）Python 自体の恩恵を簡単に受けられるという点では、Janome というライブラリの方がとっかかりは良いのかもしれない、と感じています。 目次 １．nltk による日本語の取り扱い ２．Janome を試してみる ３．まとめ ～ 自然言語処理と可視化 １．nltk による日本語の取り扱い すでに色々な方が試していらっしゃいますし、「Python による日本語自然言語処理」という、本の…

先日の記事を書き、とにかく始めようということで、ライブラリを Install、あれこれいじっていると…、こんなところにも matplotlib が使われているんですね。 目次 １．まずは Install ２．テキストデータの準備、読み込みあれこれ ２－１．別にデータは何でもいいと思いますが… ２－２．さあ、読み込みです ２－３．単語のトークン化 ３．トークンのカウントと視覚化 ４．トークンのデータ型 ５．英単語はやはり横書きがいい ５－１．matplotlib の barh を使おう ５－２．seaborn だって使える ６．まとめと野望 １．まずは Install 『Python による A…