→ 蛇の目ミシン工業
こんにちは。先日、Pythonプログラムをexeファイル化した時に、なかなかうまくいかず苦戦したので、エラーの内容と対処方法を記事に残しておきます。同様のエラーに遭遇された方の参考になれば幸いです。 exeファイルとは 拡張子が「.exe」になっている実行ファイルのことで、クリックするとプログラムが自動的に実行されます。Windows環境で動作します。通常、Pythonのプログラムを実行するには、Pythonインストール済のPCを用意する必要があります。しかし、Pythonプログラムをexeファイル化することで、Pythonが未インストールのPCでも、プログラムを実行することが出来ます。 Py…
こんにちは。今回は、テキストデータの分析をする際によく用いられるWord Cloudについて紹介します。 Word CloudのイメージWord Cloudは、文章の中に出現した単語を、その出現回数に比例した大きさにして並べたものです。文章データに含まれる情報を抽出し、直感的にわかりやすく可視化することができます。 今回の記事では、Pythonを使ったWord Cloudの作成方法について紹介していきます。 なお、上の図のWord Cloudは、あるPyrhonの参考書のショッピングサイトにおけるレビューコメントを元に生成したものです。 想定環境 Windows8または、Windows10で実…
前回英文を nltk で読み込んだ際、言葉の集計や描画に matplotlib 等のライブラリが使えたので、日本語についてもそのつもりでいたのですが…。 何日かの印象でしかありませんが、（少なくとも私にとって）Python 自体の恩恵を簡単に受けられるという点では、Janome というライブラリの方がとっかかりは良いのかもしれない、と感じています。 目次 １．nltk による日本語の取り扱い ２．Janome を試してみる ３．まとめ ～ 自然言語処理と可視化 １．nltk による日本語の取り扱い すでに色々な方が試していらっしゃいますし、「Python による日本語自然言語処理」という、本の…
どうも、たけとけたです。 Pythonで遊んでいます。今回は、前回のエントリと同じく「からあげ先生のとにかく楽しいAI自作教室」の中にあった、「Twitterの過去データを基に最適なプロフィール生成」をやってみました！ 人気ブロガーからあげ先生のとにかく楽しいAI自作教室 作者:からあげ 発売日: 2020/12/22 メディア: Kindle版 Twitterの過去アーカイブデータをダウンロード Twitterの過去アーカイブをWord Cloudで可視化 Twitterのプロフィールを編集する 最後に Twitterの過去アーカイブデータをダウンロード 本内容は、書籍の第3章を参考にやって…
こんにちは、サイサイです！ 学校の持ち物のひとつに 「紐つき洗濯バサミ2個」が有ります。 各自の椅子に 雑巾をぶら下げるための物です。 娘達が新学年に進級しますので 今年も ヒモを新調して準備しました。 もちろんヒモは 上の穴に通します。 雑巾を引っ張れば 上が閉まって 下が開くので 片手で外せる算段。 むふん。 しかしこの話しつこい。ペコリー！ JANOME コンパクト電動ミシン 【sew D`Lite】 JA525 メディア: ホーム&キッチン
こんにちは。ZIPです。 実は最近Youtubeを見るのにハマっているんですが、その中でものばまんゲームスさんの動画を見るのが楽しいんですよ。 www.youtube.com 何が楽しいのかってやっていることが面白いので、今回はマルコフ連鎖でのばまんゲームスで行われることを予知してみようと思います。 情報を入手する プログラム 結果 情報を入手する まずはのばまんさんがこれまで何をしてきたかを文章にして入手する必要があります。 ピクシブ百科事典にいい感じの記事がありましたので、これを使わせていただきました。ふりがなもいい感じです。dic.pixiv.net しかし、スクレイピングできる技術がな…
テキストマイニングとは、テキストデータを活用し、情報を抽出することを指します。社内のデータを活用して、テキストマイニングを行いたいと考えている担当者も多いでしょう。この記事では、テキストマイニングとは何なのか、目的や種類、代表的な手法などについて詳しく解説します。導入を検討している場合は、ぜひ参考にしてください。 テキストマイニングとは？ テキストマイニングの目的 テキストマイニングの種類 探索的データ解析 文書分類 教師あり文書分類 教師なし文書分類 テキストマイニングの代表的な手法 センチメント分析 対応（コレスポンデンス）分析 主成分分析 テキストマイニングでできること｜活用例で紹介 顧…
自分のツイートの頻出単語を1枚の画像にまとめるアプリが、一時期 Twitter で流行ってました。 こんな感じの画像が生成され、頻出度の高い単語ほど大きな文字で表示されています。技術的には MeCab や Janome などによる形態素解析（品詞分解）と WordCloud による可視化が用いられています。その人がどんなことに興味を持っているかがよくわかり、じっくり見てみるとなかなか面白いです。 しかし Twitter の連携アプリでは過去ツイートを遡れる件数に上限があるため、10年以上毎日ツイートしつづけている僕にとっては不十分でした。やはり分析するなら過去全件を調べてみたいですもんね。そこ…
はじめまして、 @mocobetaと申します。 パッケージソフトウェアベンダー、コンサルティング会社、Webサービス企業などを経て、現在は株式会社LegalForceというスタートアップの研究開発セクションでソフトウェアエンジニアをしています。 個人としては、Python形態素解析ライブラリjanomeを開発するとともに、OSS検索エンジンライブラリApache Luceneのコミッターをしています。ちなみに本記事のアイキャッチ画像は、絵師さんに描いてもらったjanomeのキャラクターです。とてもかわいく描いていただいて、お気に入りの1枚です。 この記事では、進路とエンジニアとしての力不足に悩…
機械学習であれな文章を使って単語を学習させ、短文を作らせるようにした話 のやったことの詳細です ただし、この方法については既存のフレームワークは使用しておらず 書籍:"ゼロから作るDeep Learning❷"で提供されているライブラリをベースにしているため、 前提としてここのライブラリが必要になります www.oreilly.co.jp (一応githubでソースは公開されていますが、おそらく購入特典かと思いますので、ここでは掲載しません。。) また、ここで示した方法は簡易的であるため精度についてはあまりよくないです。 本格的な自然言語処理については別の方法をご確認ください 大雑把な流れは下…
こんにちは、データエンジニアリングチームの宮崎です。 最近、趣味で言語処理について取り組みたくて、Twitter APIの利用に必要なTwitterの開発者アカウントを取得しました。 APIから取得した情報はブラウザで見るのとはまた見え方が違ってきて、分析すると色々面白そうな感じがします。 そこで、今回はWordCloudという、単語を出現頻度にしたがって大きく表示する手法を用いて、ツイートを可視化してみたいと思います。
codezine.jp オープンソースのPython用機械学習ライブラリPyTorch開発チームは、最新版となる「PyTorch 1.8」を3月4日（現地時間）にリリースした。 Python用機械学習ライブラリ「PyTorch 1.8」がリリース、科学計算用フロントエンドAPIの追加など変更多数：CodeZine（コードジン） ⇧ ますます「機械学習」のライブラリが充実していく世の中に我々は生きているということですかね、どうもボクです。 そんなこんなで、Pythonについてです。 レッツトライ～。 Pythonは動的型付け言語である！ Wikipedia様の御宣託を見分することにより、我の曇り…
背景 自然言語処理の研究を学生時代行っていたが，形態素解析の辞書作成と基礎よりだった． 応用部分の一分野である対話システムをやってみたいと思った． やったこと Python で今日，明日，昨日の日付を聞くと返してくれるプログラムの作成 上記の日付以外については答えられないと返答するようにした．ただ，少しの入力文でしか確認していないので100％ではない． 処理概要 「今日に日時は？」，「明日の日時は？」，「昨日の日時は？」の三つそれぞれを形態素解析し分散表現に変換 分散表現への変換 内容語だけ取り出す 取り出した語の分散表現を足し合わせる 取り出した内容後の数で割る 入力文を分散表現に変換 入力…
日本語解析のときに欠かせないpythonの道具、Janome。たまに、巨大辞書を使いたくなる時がある。そこで、検索しながら調べてみたけれども、ビルドしなおすのが現実的だった。環境のことも考えなくてすむので、colaboratoryで挑戦。 たぶん、出来た気が。 github.com 出来たファイルは共有するのが、地球にやさしいのかな。
自然言語処理、テキストマイニングに関するプログラムのライブラリが多く公開されてきて、PythonやRなどによるプログラミングのスキルさえ習得すれば、大量の文章から言葉と言葉の関係、文章と文章の関係などを誰でも容易く分析することができるようになっています。 データサイエンスは情報と情報を科学的(統計解析など）に比較する手法です。好きな、個性的なミュージシャンの曲を比較するのは面白くもあり、楽しいです。 歌詞の頻出ワードをwordcloud表示 今回は、私と同年代(やや年上ですが)の中島みゆき600曲と松任谷由実415曲の歌詞を、出現するワードの頻度でwordcloud表示してみました。出現頻度が…
自然言語処理。さてと、特許の分類に興味があったけれども、日本の特許庁は不便なんで、手に入るもので挑戦しようと調査中。 今回は、形態素解析。日本語を分解して単語に分ける。単語を単位とすれば処理ができるようになる。よく見かけるのはMeCabやJanomeという形態素解析ライブラリ。巨大辞書Neologdが使えるMeCabは魅力的だが、今回は導入しやすいjanomeを採用。専門用語を考えると巨大辞書も魅力的だけれども事前検討してみるとjanomeのAnalyzerモジュールを活用すれば、そこそこいけそうな気がした。 この公式サイトや親切なサイトも参考にしつつ、テキスト前処理を組み立てる。先人の皆様あ…
mocobeta-backup.tumblr.com
note.nkmk.me
mocobeta.github.io
speakerdeck.com
blog.amedama.jp
ailaby.com
ohke.hateblo.jp
medium.com
www.slideshare.net
