意味を持つ最小の言語単位のこと。自然言語でかかれた文章を分割する際に利用される言語単位。
ちょっと前に、Python ベースに MeCab で形態素解析を行い、「ねむい」という単語を「ねむくない」に変換したり、しなかったりする「ねむいガチャ」というプログラムを作って紹介した。 github.com MeCab を用意しないといけないので環境構築が手間だし、ウェブアプリみたいにしようにも Python が動作するところに置かないといけないので、イマイチ手軽さに欠けていた。 そこで、ブラウザオンリーで動作するような、JavaScript 製の形態素解析ツールを探したところ、kuromoji.js というライブラリを発見したので、コイツを使ってみることにした。 フロントエンドは Crea…
「クロノ・トリガー」「クロノ・クロス」名作ですよね。 「ガルディア城」「時の回廊」「時のみる夢」「生命〜遠い約束〜」名曲だらけです（メインコンポーザー光田康典さん） 思うのですが，なぜ「時」「時空」「光」「波」などの物理学用語はファンタジック，またノスタルジックに響くのでしょうか。 ということで今回は形態素“chron”です。意味は「時」ですね。 ギリシア神話の時の神クロノス（Khronos）から来ているようです（ティターン神族の長クロノスKronosとは別） またゾロアスター教の分派ズルワーン教の創造神ズルワーンは時間の神で，「クロノ・クロス」エンディングで名前だけ登場します。 chroni…
自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました 「自然言語を可視化」するのって「文字」その物じゃないんですか、と、言語学畑から野暮な指摘をしてみる。いやはや、プログラマ様の考えることは複雑怪奇。 いや、私も文字コードとかには興味あるけど、この手の所謂自然言語処理とか形態素解析には恩恵を被ってる気がしないし、将来的にも余り期待していない。
はじめに クジラ飛行机さんの著書「JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック」を読んだのでご紹介します。 JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者:クジラ飛行机 発売日: 2015/08/31 メディア: 単行本 読んだきっかけは、スクレイピングするサービスを作りたいと思っていたときに、「なぜ、あなたの仕事は終わらないのか」で有名な中島聡さんがメルマガで「Firebaseいいよ」的なことをおっしゃっていて、「Node.jsはよく分からないけど、そのFirebaseでもサポートされていたし、なんか人気もありそうだし、これ…
こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart pyLDAvis まとめ nlplotとは？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現…
以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらコメントでご指摘いただけますと幸いです。web.stanford.eduまとめ（ていない） 2章では正規表現、正規化、編集距離―「テキストデータをどこで区切るべきか」や「区切ったらどの単語とどの単語を同じと扱うべきか」を与える確立されたツールが紹介されている。 スピーチと言語の処理、ですか。28章もあるんですね…。1章のイントロダクションはまだ執筆されていませんね。2章は Regular Expressions, Text Normalization, Edit Distance というこ…
こんにちは。研究開発部の深澤(@fukkaa1225)と申します。 クックパッドでは、顧客のロイヤルティを測る指標であるNPS(ネットプロモータースコア)のアンケートを毎月実施しています。 このNPSアンケートで集まってきたユーザの声(フリーコメント)は、クックパッドにとって大変貴重なものです。しかし、毎月多くの声が届くこともあり、担当者だけで目を通して集計するというのは難しくなってきました。そこで昨年、予め定義したカテゴリにコメントを自動で分類するシステムを構築し、既に稼働させています。NPSアンケートを自動分類した話 - クックパッド開発者ブログ このシステムによって「いただいたコメントが…
最初に音素（Phoneme）についての導入をしておこうと思います。 音素というのは厳密な定義が難しい概念ですが、ここでは「言語の音のうち、意味の区別に使うことができる最小の単位」とでも定義しておきます。厳密な議論は専門家がやればいいということにしておきましょう。 音素は/a/のようにスラッシュで囲みます。/a/なら音素としてのaという音を表します。逆に発音は[a]と大括弧で、文字は<a>とブラケットで書きます。 例えば、日本語の/a/の場合を考えてみましょう。 日本語には[ka]と発音する単語がありますね？あのうるさいアイツです。（関東の日本語を念頭においています）この単語に含まれる[a]の音…
こんばんは葛の葉です。 Pythonにはjanomeという形態素解析が出来るモジュールがあるみたいです。 mocobeta.github.io 形態素解析はwikipediaを参照してください。 ja.wikipedia.org 青空文庫にある「坊っちゃん」の一文を形態素分析してみます。 www.aozora.gr.jp 親譲《おやゆず》りの無鉄砲《むてっぽう》で小供の時から損ばかりしている。小学校に居る時分学校の二階から飛び降りて一週間ほど腰《こし》を抜《ぬ》かした事がある。なぜそんな無闇《むやみ》をしたと聞く人があるかも知れぬ。別段深い理由でもない。新築の二階から首を出していたら、同級生の…
