MeCab
日本語の形態素解析器。
同機能を持つChaSenの3-4倍はやい。
また、はてなキーワードの抽出をTRIE を使って1600倍早くするPerl(&C++)スクリプトを公開している。
http://chasen.org/~taku/blog/archives/2005/09/post_812.html
近頃ではMysqlの全文検索ソフトSennaへの組み込みや、
作者の工藤氏によるAJAXによる日本語変換など、何かと話題になることが多い。
このタグの解説について
この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。関連ブログ
PyCon JP 2020 終了
PyCon JP 2020 は全日程が終了しました。今年は、スタッフとして参加し去年の一般参加とは違った感じを受けました。 スタッフ活動やその合間でいくつかセッションを回りました。それぞれ、様々な発表がありどれも刺激的なものでした。 その中で1つ印象的な物をあげるとするとこちらになります。 最先端自然言語処理ライブラリの最適な選択と有用な利用方法 / pycon-jp-2020 - Speaker Deck この発表は度肝を抜かれました。形態素解析器についての発表はこれまでもありましたが、各形態素解析器を詳細に比較検討し、それぞれの利点を細かく述べていたのが印象的でした。発表のスライドがフォー…
ネットで話題
もっと見る
techlife.cookpad.com
mecab.sourceforge.net
inaniwa3.hatenablog.com
qiita.com
nwpct1.hatenablog.com
chasen.org
labs.unoh.net
code46.hatenablog.com
diary.overlasting.net関連ブログ
推しに関するコーパスを集める
久々に、GitHubを更新してみました。 日向坂46の小坂菜緒さんに関する事を書いたはてなブログを集めて、MecabとWord2Vecを使って、モデルを作りました。 www.hinatazaka46.com ja.wikipedia.org 48pedia.org Qiitaできっかけになる記事を読んで作ろうと思いました。(すみません、ストックを忘れてしまい、元記事不明です…) Mecabの辞書は「mecab-ipadic-neologd」を使いました。また、当初は小坂さん本人のブログを使おうと思ったため、その際に作ったユーザー辞書を流用して、固有名詞はなるべく拾うようにしました。なお、形態素…
Signateと100本ノックの補足
使いたいけど加工の仕方が分からない そんなデータがあって勉強が足りないなあと思いながらもなんとか学習データの加工が終わり前処理まで終わったのですが、テストデータの加工を忘れてましたねえ…… とりあえずエンコーディングすると謎のカラムや学習データにあるカラムがなかったり、あぁ明日はこれをどうにかするところからスタートだなあと思いながら、今日はおしまいです。 そして！ 以前 ブログで書いていた100本ノックである項目についてお問い合わせをしたのですが、 本日返信が来ました！！！ お問い合わせの件、確認いたしましたが、MeCabが1.0になってから大幅に変更があったので、0.996を使うのをお勧めし…
darts-cloneを使って最長一致法で分かち書きしてみる
ホクソエムサポーターの白井です。 呪術廻戦をみて喜久福が食べたくなりました *1。 今回は形態素解析について深堀りしてみます。 日本語の自然言語処理において、形態素解析は必ずといっていいほど通る道です。 形態素解析を必要としないSentencePieceのような深層学習向けのtokenizerも出現していますが、品詞単位で分割する形態素解析が重要であることは変わりありません。 そんなこんなで、『実践・自然言語処理シリーズ2 形態素解析の理論と実装』 (以降「形態素解析本」と表記)を読んでいます。 リンク先の目次を見て分かるとおり、基礎の部分から実装まで説明されている本です。 今回は4章で紹介さ…
Set up for Practice
練習テキスト用にset up Python実践データ分析100本ノック作者:下山輝昌,松田雄馬,三木孝行発売日: 2019/10/31メディア: Kindle版 networkx PuLP ortoolpy opecv_python dlib mecab-python3
PYTHON 始めました
プログラミングの勉強を始めました ２０２０年、プログラミング教育が小学校で必修に だから始めた…というわけではないんですけどね(笑)うちの上の子は今年小学校一年生になりましたがいまのところ学校でその手の話は出てきてないですただ、教育委員会から家庭の光回線の契約状況やWi-Fi環境のアンケートは回ってきましたが プログラミング教育といっても、コードがーとか言語がーとかやるわけではないでしょうしたぶん、問題解決の手法としてこうしたらこうなる、こういときはこうするみたいなフローチャート的考え方を身に着けるようなものだと思うし... プログラミングを勉強する目的 プログラミングを勉強するためにプログラ…
ラズパイ 音声合成やってみた
こんにちは。今回はopen jtalkを使った音声合成をやる。 Open JTalkをインストール $sudo apt-get install -y open-jtalk open-jtalk-mecab-naist-jdic hts-voice-nitech-jp-atr503-m001 スクリプトファイル作成 $sudo nano jtalk.sh #!/bin/bashtempfile=`tempfile`option="-m /usr/share/hts-voice/nitech-jp-atr503-m001/nitech_jp_atr503_m001.htsvoice \-x /va…
興味を持った記事(2020年10月14日)
セキュリティ 警視庁がテレワーク中のサイバー対策講習会｜テレ東NEWS：テレビ東京 Microsoft Confirms Windows 10 Users Can't Uninstall the Edge Browser | PCMag 県サイバーテロ対策協、情報共有の必要性確認 東京五輪開催に向け：中日新聞Web 【セキュリティ ニュース】「Zoho ManageEngine Desktop Central」に複数の脆弱性（1ページ目 / 全1ページ）：Security NEXT これからの働き方とセキュリティ～ニューノーマル時代、5Gの普及を踏まえて（第2回）｜PwC Japanグループ …
2020-10-09の統計ニュース
×89 CTO協会のデジタル庁創設にかかる提言について ×41 Arm MTE architecture: Enhancing memory safety - Processors blog - Processors - Arm Community ×30 AMD、ザイリンクス買収で交渉が進んだ段階に－関係者 - Bloomberg ×23 ノーベル文学賞に米国の詩人 長年研究、札幌の木村さん喜び 日本で無名「光当たった」 「現代人の心に響くはず」 ｜ 北海道新聞 どうしん電子版 ×22 メタボ健診は指導効果薄く わずかな体重減少のみ ｜ 共同通信 ×16 メタボ健診・特定保健指導制度の課題を…
有価証券報告テキストマイニング入門
はじめに こんにちは, ホクソエムサポーターのKAZYです｡ 先日猫カフェデビューをして, 猫アレルギーであることがわかりました🐈｡ 次はフクロウカフェに挑戦してみようかなと思っています🦉｡ ところで皆様, 有価証券報告書は読んでますか？ 私は読んでいません｡ 読めません｡ 眺めていると眠くなります💤｡ 私は眠くなるんですが, 有価証券報告書ってテキストマイニングするのに向いているんです｡企業の事業や財務情報が詳細に書かれています｡ XBRL形式で構造化されています｡ 数千社分のテキストが手に入ります｡ おまけに無料です｡ どうです？興味湧いてきませんか？ 本記事ではPythonを使って有価証…
湘南乃風の歌詞解析をする Part0 -前準備-
湘南乃風、イイぞ。 なんでハマったかは後ほど書くとして（けっこう深い理由がある）、今回は湘南乃風の歌詞解析をしてみた。これはその記録。 5thとコンセプトアルバムである「踊れ」以外、つまり1stから8thまで聴いたわけなんだけど、なんとなく最近のアルバムは曲がマイルドになっている気がしていた。 初期のヤンキー感というか・・・不良感というか・・・ギャングスタ感？がほぼなくなっている印象があった。歌詞も同じように物騒な単語が減ってきて、万人受けする普遍的なJPopみたいになっている感じがした。 今回はそれを検証するため、各アルバムで使われている言葉を調べてみて、ワードクラウドを使って可視化してみよ…
Ubuntu18.04環境でMecab+NEologdをPythonから使うための準備
Mecabのインストール $ sudo apt install mecab libmecab-dev mecab-ipadic-utf8 mecab-python3のインストール $ pip install mecab-python3 NEologdのインストール $ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git $ cd mecab-ipadic-neologd $ ./bin/install-mecab-ipadic-neologd -n """ [install-mecab-ipadic-N…
メモ_UbuntuでのR言語導入・RMecab導入
前提条件 $ cat /etc/os-release NAME="Ubuntu" VERSION="18.04.5 LTS (Bionic Beaver)" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 18.04.5 LTS" VERSION_ID="18.04" HOME_URL="https://www.ubuntu.com/" SUPPORT_URL="https://help.ubuntu.com/" BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/" PRIVACY_POLICY_URL…
ダブル配列ライブラリDarts-cloneのRuby bindingを作成した
はじめに Susumu Yataさんが作られたDarts-cloneは、Darts（Double-ARray Trie System）というライブリのクローンで、共通接頭辞検索を実現するデータ構造のダブル配列（Double Array）の実装である。Darts-cloneは、DartsとAPI互換性があり、検索の機能や速度そのままに、辞書サイズの削減を実現している。ダブル配列は、MeCabをはじめ、多くの形態素解析器で採用されているデータ構造で、例えばSudachiPyは、Darts-clonenのPython bindingを使用している。また、Darts-cloneは、Taku Kudoさ…
はじめてのUbuntu
win10にUbuntuを入れたり入れなかったり入れたりしたときのメモです。 記憶が３秒しか持たないのでたぶん何らかの操作が抜け落ちているかもしれないし抜け落ちていないかもしれない。記憶失ってこのブログ読み返しても思い出せない気がしたりしなかったり揺れたり震えたりする。 未来の私へ、なんとかしろ。 多分やったことと生じたエラーとその対策 1: Microsoft StoreでUbuntuと入力して検索。 2: インストール 3: UNIXアカウントを作れといわれたので作る。 4: エラー発生 adduser: Please enter a username matching the regul…
Virtualenv環境でJupyterlabを使う
ことの発端 MeCabをインストールして、 Jupyterlab上でimport MeCabするにもインポートエラーとなった。 「あれ？」という感じで、Jupyterlab上で pip3 listするにもMeCabは入ってなくて、パスを以下の通り確認したが、仮想環境のパッケージパスが含まれていなかった。 import sysimport pprintpprint.pprint(sys.path) 一時的にsys.path.appendで仮想環境のパッケージパスを追加しようと考えたが、根本解決にならないので調べた。 解決方法 github.com Jupyter用のIPythonカーネルをインス…
【RHEL8】RHEL8.2のISOに同梱されている各種パッケージ（AppStream）について
前回、BaseOSのパッケージについて記載しました。 www.guri2o1667.work 今回はAppStreamのパッケージについてです。※httpd,mysql,mariadb,nginx,pacemaker等が格納されております。 ■② /mnt/AppStream/Packages -r--r--r--. 107 root root 1791364 3月 9 2020 389-ds-base-1.4.2.4-8.module+el8.2.0+5959+cfcaedbd.x86_64.rpm -r--r--r--. 107 root root 130612 3月 9 2020 389…
