WordCloud

嵐の応援うちわ 妻が大ファンの嵐は2021年から活動を休止します。 そこで、下図のように「嵐」の文字からマスクシェイプを作成し、ワードクラウドというプログラムを用いて、そこに世界中の言語で"愛"または"感謝"のワードを詰め込んでみました。実際は嵐のロゴからマスクを作成しています。 ワードクラウド(wordcloud)とはあたかも雲のように、数多くの言葉を配置してビジュアル化するプログラミング技術です。各ワードの大きさは使用している人口の大きさに比例しています。 "嵐"の文字とマスク "嵐”を型として、世界中の言語の"愛"を並べてました。そのつもりで見れば、嵐のかたちに見えるでしょうか。 同様に…

はじめに こんにちは！はやいもので、もう12月ですね！これは、SLP KBITアドベントカレンダーの4日目の記事です。他の部員の記事は以下からご覧ください！ adventar.org今回は、タイトルにもある通り、はてなブックマークで、自身がブクマしている記事のタイトルからキーワードを抽出し、ワード・クラウドの画像データを作成します。ワード・クラウドから、自分はこういうキーワードに興味を持っているというものを見ることが出来れば、面白いなと思っています！ はじめに ワード・クラウドとは 開発環境 コンテナのイメージ 使用する主なライブラリ tree ブクマ記事のタイトルを取得する ワード・クラウド…

SNSがコミュニケーションのインフラになりつつあることで、世の中は言葉で溢れています。この膨大な言葉の文章をまとめることで一つ一つの文章からはわからない傾向を新たに獲得することができます。具体的には、文章をカテゴライズして分類することで、どのカテゴリが人気なのかがわかったりします。これは機械学習の分類問題としてよく扱われていますが、重要な前提として「各文章は一つのカテゴリに属す」としています。しかしながら、いくつかのトピックが含まれている文章は多々あります。ファミレスでよく聞く井戸端談義はトピックだらけです。そこで、一つのカテゴリに分類するのではなく、分類に重要な単語（トピック）の重み付けで分…

菅首相の施政方針演説を可視化したもの。頻繁に出てきた単語ほど大きく表示される 目立つ「ビジネス志向」と抜け落ちる「コロナ対策」 上記の画像は、WordCloud というプログラムを使って、2021年1月18日に通常国会で行われた菅義偉首相の施政方針演説を可視化したものだ。演説はNHKニュースが報じた全文を使用した。文字にして約1万1000字のスピーチの中で、出てきた頻度の高い単語ほど大きく表示されている。可視化された画像を見て気が付くのは、「企業」「デジタル」「経済」「支援」「実現」といった言葉が目立つこと。菅首相の中での政策の優先順位が、日本企業のビジネス上の成功や、経済の活性化にあることを…

ラズパイ記事など、テック系記事で日頃からお世話になっているからあげ (id:karaage)さんが書籍を執筆されました。 その名も「人気ブロガーからあげ先生のとにかく楽しいAI自作教室」! 書籍名のインパクトもさることながら、装丁も方もすごいです。もう派手派手です。 人気ブロガーからあげ先生のとにかく楽しいAI自作教室作者:からあげ発売日: 2021/01/08メディア: 単行本 紙の方で購入して一通りコードを動かしつつ読み終わりましたので、感想をつらつら書いていきます。 my new book... pic.twitter.com/nTAycvwpaD— t_emcee@忙しさ★★★★★ (…

はじめに Pythonのリリース文章 M1搭載機へのPython 3.9.1のインストール手順 Step1 - 公式サイトからインストーラーをダウンロード Step2 - インストーラを起動 はじめに 大切な情報 概要 Step3 - Pythonのバージョンを確認してみる Step4 - ライブラリをインストールする Pipを最新バージョンに更新 便利パッケージpip-reviewをインストール Numpy / Pandas / matplotlib / scipy をM1にインストール（失敗） エラーの文章の中に下の文章があったので、再度コマンドを追加して実行してみましたが、ダメでした。 …

重回帰分析を以前やりましたが、 説明変数はマニュアル方式で 集計結果のグラフを見ながら選んでいました。 今回はバージョンアップして全ての説明変数の組み合わせを 試して一番精度がよいモデルを選択するプログラムを組みました。 精度の評価方法は色々ありますが、本記事ではMean Absolute Error(MAE)の値が 一番小さいモデルをベストモデルとして採用するようにしています。 ※ MAE = 日本語では平均絶対誤差と呼ぶそうです。分析のコンペなどでたまに 評価方法で採用されています。

嵐の応援うちわ 妻が大ファンの嵐は2021年から活動を休止します。 そこで、下図のように「嵐」の文字からマスクシェイプを作成し、ワードクラウドというプログラムを用いて、そこに世界中の言語で"愛"または"感謝"のワードを詰め込んでみました。実際は嵐のロゴからマスクを作成しています。 ワードクラウド(wordcloud)とはあたかも雲のように、数多くの言葉を配置してビジュアル化するプログラミング技術です。各ワードの大きさは使用している人口の大きさに比例しています。 "嵐"の文字とマスク "嵐”を型として、世界中の言語の"愛"を並べてました。そのつもりで見れば、嵐のかたちに見えるでしょうか。 同様に…

あけましておめでとうございます。年末といえば…大量のツイートでテキストデータが大量には手に入るというまたとない機会です。そこで今回の年末もNHK紅白歌合戦のツイートデータを入手していたので、テレビの放送は見ていませんでしたが、ワードクラウドの画像を作成してどんな感じだったのかなというのをみてみました。（お正月にやっているないようではないけど） 19万件ほどのデータが得られました（リツイートを覗いたオーガニックツイートとして） 過去のプログラムをそのまま使用したので以下に過去エントリを参考においておきます。 参考 uepon.hatenadiary.com uepon.hatenadiary.c…

1. 問題 Quantedaを使って日本語のテキストを分析した結果を、rmarkdownでまとめてpdfとして出力しようとしたところ、日本語の表示に問題が発生しました。 具体的には、日本語が、wordfishの結果をknitr::kable()を使って表として出力しようとした際に表示されなかったり、textplot_scale1d()でプロットしようとしたグラフの中で□□□と表示されてしまったりしました。□□□にはtofuという呼び名があるらしいです。 問題は、markdownで日本語を含むpdfを出力する問題と、ggplotで日本語を含むグラフを出力する問題の2点に切り分けられました。 日本…

はじめに こんにちは！はやいもので、もう12月ですね！これは、SLP KBITアドベントカレンダーの4日目の記事です。他の部員の記事は以下からご覧ください！ adventar.org今回は、タイトルにもある通り、はてなブックマークで、自身がブクマしている記事のタイトルからキーワードを抽出し、ワード・クラウドの画像データを作成します。ワード・クラウドから、自分はこういうキーワードに興味を持っているというものを見ることが出来れば、面白いなと思っています！ はじめに ワード・クラウドとは 開発環境 コンテナのイメージ 使用する主なライブラリ tree ブクマ記事のタイトルを取得する ワード・クラウド…

新型コロナウイルスの流行により春学期のコースは途中からオンライン対応となり、夏学期、秋学期に希望したコースは、希望者不足のため開講されず、今年の学生活動は非常に物足りないものとなった。春学期の思い出と言えば、データ分析のクラスでの中間提出物が大変に高評価だったことだ。主題に関する背景に乏しい受講者の多いクラスだったため、まさかRでの成果物が提出されるとは、講師は期待していなかったのだろう。加えて、データ集計作業がシンプルでありながら、その過程はデータ分析の要所を抑えながら追体験でき、ワードクラウドも見た目にアピールするプレゼン要素になる。この投稿では、その一連の作業過程を紹介する。作業環境はW…

1.文字認識 (1)形態素解析 (2)テキスト解析 (3)形態素解析を使い、ワードクラウドの生成 2.音声認識 (1)言葉の整理 (2)波を書いてみる (1)WAVEファイルの読み込み (2)音声ファイルのパラメータ (3)実際に取り込む (4)波のグラフを描いてみる 3.画像認識 (1)OpenCVを使った画像処理 (2)モノクロ画像（黒と白） (3)グレースケール（黒と白以外に、灰色がある） (4)カラー 4.高度な画像処理：顔認識 1.文字認識 (1)形態素解析 形態素(morpheme)は、最小の要素。単語よりもさらに細かく分割されている。 形態素解析(Morphological An…

「パン屋かわら版」はパンが好きな方、パンを作る職人さん向けに、パンのトレンドを情報発信するかわら版です。 にほんブログ村 0.今週の一言 1.今週のホットワード 1-1.「パン屋」wordcloud(ワードクラウド) 注目ワード！ 1-2.地域名ワードクラウド 1-3.頻出ワード ネットワーク図 1.「岸本先生」 2.「沢村」 2.今週の座布団１枚 3.今週のネガポジ分析 4.パン屋のIT化相談は中小企業デジタル化応援隊事業で！ 0.今週の一言 ・ビックイシュー社のパン屋さんは、かなり注目度の高いビジネス... 1.今週のホットワード 毎週パン業界を騒がせるネタをお伝えするこのコーナー。１週間…