WordCloud

LinuCエヴァンジェリスト・Open Source Summit Japan 2022ボランティアリーダーの鯨井貴博@opensourcetechです。 はじめに 今回はWordCloudを使って、データ分析(長文における単語頻出度合い)してみます。 WordCloudとは WordCloudは、文章に含まれる単語の頻出度合い可視化してくれるPythonのライブラリです。 https://amueller.github.io/word_cloud/ 答えを予め出しておくと、こんな感じになります。 前提条件 作業の前提ですが、今回はUbuntu 22.04.2 LTS上でPython3が実行で…

ここを参考にしてみたんですけど、 ＞＞Goで青空文庫の小説からWordCloud作ってみた - Qiita まぁ、上手くいきませんｗ 初心者には難しことこの上ないｗｗ とりあえずライブラリを go get しちゃいます。 ＞＞GitHub - psykhi/wordclouds: Wordclouds in go ここまでは特に問題ない。 とりあえずサラサラとコードを書いていったら 上手く実行できません・・・ まず、フォントを指定するんですけど、どうもこのライブラリは ttfしか対応してないようです。 Macを使ってたので適当なttcを指定していたら、例外エラーになって ひとしきり悩みましたw…

みなさん、こんにちは。DATAFLUCTのKazumiです。 前回の記事（ WordCloudで小説の特徴を テキストマップ化してみた ）でWordCloudを用いたテキストマップの作成を紹介しました。そこではWordCloudを使って、テキスト内でよく使われる単語を可視化できました。今回はその仕組みともっと良くするための方法について話していきます。 WordCloudにはできないことがある！ そもそも形態素解析というのは何か？ 形態素への理解 形態素を解析する、とは ①文章を分割する ②品詞をつける WordCloudの弱点と応用 WordCloudの形態素解析が粗い理由 WordCloud…

おわりんです。 最近、「死ぬまでにやりたい１００のリスト」を作りました。 作った理由については、また今度述べたいと思います。 今日、記事にしたかったことは、ワードクラウドを超簡単に、誰でも作れるアプリを作ったことです。自分がやりたいことをワードクラウドで可視化してみました。 どうやら、僕の頭は家族の事がとても多いことがわかりました。 ワードクラウドとは 作成手順 ①エクセルファイルで表を作り、CSVファイルで保存。 ②wordcloud_02を実行する（exeファイルダウンロード） ③アプリが立ち上がる。 ④赤枠の「参照」から、ワードクラウドにしたいCSVファイルを選択する。 ⑤保存したい場所…

先日、NGK2022Sという名古屋合同懇親会という名のIT系コミュニティの合同新年会のLT大会が開催されました。 note.com そのイベントの中で以下のような内容のLTを行いました。 一応、コロナ禍で名ばかりのSeeedJP UGのメンバーにはなっているのですが、SeeedさんのreTerminalのことについて紹介しました。 LTの中ではちょっと思いついたネタを紹介してみたのですが、折角なのでそのネタを実際に作ってみようかなと思い今回のエントリに至ります。 そのネタはこんなものになります。 Node-REDでのリアルタイムTweetのwordcloud画像作成し、reTerminalの画…

WordCloudで英文の解析に成功したので日本語の文章に挑戦しました。 つくるもの 日本語解析の難しさ Janomeのインストール コード全体 コード解説 公式ドキュメント パッケージとモジュールのインポート トークンの抽出 結果 つくるもの pythonスクリプトと同じフォルダに入れた日本語の文章をWordCloudで解析し文章中に頻出する単語を可視化します。 日本語解析の難しさ 直感的ですが、英文は単語が必ずスペースで区切られているため、文中の単語を抽出するのは比較的簡単に思えます。 一方、日本語は単語が連続しているので、文章を意味のある最小単位に分解し解析する（形態素解析）が必要だそう…

業務でとったアンケートの分析を可視化したくて、WordCloudに挑戦しました。 WordCloudとは つくるもの WordCloudのインストール コード全体 コード解説 公式ドキュメント パッケージとモジュールのインポート テキストの読み込み WordCloudオブジェクトの生成 イメージファイルへの書き込み 結果 WordCloudとは WordCloudとは、テキスト中に出現する単語を出現頻度に比例して散りばめた画像を作成するツールです。 下のサンプルはオンライン英会話のメモをWordCloudに入力した結果です。ビジネス系の英会話メモなのでビジネスに関係する用語が多数、大きく表示さ…

AI Chat に課金をしているので、サブスクが多くなりすぎたので、Google Colab Pro を解約しました。Google Colab のインターフェースは便利な事も多いので、 今後はローカルランタイムを使っていこうと思い、ChatGPT に次のような質問をしました。 オレ Google colab をローカルランタイム(Windows WSL) で使用しています。(Python 3.12.3) venv 環境を使い pip install jupyter で Jupyter Notebook をインストールし jupyter notebook --NotebookApp.allow_…

このブログでは2024年1月から同6月まで、各月末にその1ヶ月間の日記をまとめ直す方法で更新してきた。 自分が何を書いてきたか捉え直すため、テキストマイニングツールにかけてみることにした。 対象：『犬々の日々』「2024年1月」～「2024年6月」計6本のブログ。本文・見出し・引用・注釈含む。タイトル・目次含まない。総字数62,231字。 ツール：ユーザーローカル テキストマイニング（ https://wordcloud.userlocal.jp/ ） 以下結果。 スコア順ワードクラウド 共起キーワード：文章中に出現する単語の出現パターンが似たものを線で結んだ図 （抜粋）出現頻度とスコア：名詞…

www.youtube.com 人工知能概論19−20回目。言語処理(wordcloud)や塩基配列、アミノ酸配列の解析(alphafold2)。暗号の話を入れるも課題からは外す。 昼はコンビニ冷やし中華。 午後も同じく。来週は富士フィルムによる授業。しかし、HNMさんがちゃんと動く python コード作ってくれて助かる。 疲れ果てる。いろいろ某所にメール。 夜は京樽のちらし寿司など。アンドロイドのお姉さんはネパールに上陸。

初めに 開発環境 ライブラリのインストール データのダウンロードおよび整理 モデルのロード 推論 各種ライブラリのver 初めに 時系列基盤モデルでどんなことができるのか気になったので、以下の記事を実際に試してみます note.com 開発環境 Google Colob T4(Free) ライブラリのインストール ライブラリをインストールします !pip install utilsforecast データのダウンロードおよび整理 import pandas as pd # データ読み込み # https://github.com/zhouhaoyi/ETDataset/blob/main/ET…

こんにちは。R&D室のsiidaです。 R&D室には様々なミッションがありますが、その中でも主要なものとしてAI/MLプロジェクトの企画からMVPリリースまでEnd-to-Endに推進するというものがあります。最近はちょうどプロジェクトのPoCに力を入れていたため、データサイエンティストらしくJupyterを使ってデータ分析する機会も多くありました。今回はそのような中で遭遇したトラブルとその対処法を残していきたいと思います。 TL;DR WordCloudで日本語が豆腐になる場合には WordCloud(font_path="/path/to/my-font.ttf") というように font…

初めに 環境 準備 実行 備考 初めに 背景を透過できる画像生成ができるLayerDiffusionが出てきたので触っていきます。今回はColob版が公開されていたのでこちらでやっていきます LayerDiffusion 能用了！作者更新了 README ，Forge 版已优先支持了基础的图像生成和图层功能，但是图生图部分尚未完成（作者说一周内），并且给出了详细的说明和示例，还给了一段演示预览视频，我特意从项目中摘了出来视频来源与项目地址：https://t.co/3Qr77jmhKx模型：https://t.co/k0AxuECXjZ pic.twitter.com/VMbbumUbXB— …

Code Interpreter とは Azure OpenAI での利用 Azure OpenAI Studio でのはじめ方 Code Interpreter を使うための準備 Code Interpreter を試す 数学の問題を試す 他の活用例 余談: Code Interpreter の実行環境はどうなってるのか 参考 Code Interpreter とは Assistants 機能のひとつとして 2024年2月に追加されました。 まず Assisntants で既存にある Function calling は、自分で用意した関数のコードを、質問に応じて良しなに実行してくれる機能で…

いきなりですが、みなさん恋してますか？ 僕は出来てないです。というか恋が何か分かってません(笑)。 好きは分かるけど、恋って何か重い感じがする。「恋してる」何て言ったことないし、恋って何だーと思ったので、定義を調べてみると、 恋：異性に愛情を寄せること、その心。 ほほう。愛情とは？ 愛情：相手にそそぐ愛の気持。 ほほう。愛とは？ 愛：そのものの価値を認め、強く引きつけられる気持。 うーん….よく分からないので、よく恋をしてそうな西野カナ先生に聞いてみましょう！ どうやって聞くか？ 会って直接！とはいかないので、今回は西野カナ先生の歌に対して自然言語処理をして、先生が恋をどのように表現しているか…

本日のレシピはこちら。 年末にやりがちなやつです。 # 作業ディレクトリを掘って New-Item -ItemType Directory -Path "mp3", "text", "fixed", "csv", "word", "image" # 2023年は第222回から273回まで for ($i = 222; $i -le 273; $i++) { # エピソードをダウンロードして Invoke-WebRequest -Uri "https://cdn.ossan.fm/audio/$i.mp3" -OutFile "mp3/$i.mp3" # 文字起こしして whisper "mp3…

「さはら３」です。 AI副業でどこまでいけるのか？をテーマに頑張っていきたいと思います。 いつも読んで頂きありがとうございます。 テーマ Pass2Edit 要約 Pythonでランダムパスワード生成 スクリプト ワードクラウド画像 本日のAI着物美女 テーマ さて、今回のテーマは「パスワードの使いまわしは危険」です。 以前からずっと言われている、パスワードの使いまわしやパスワードの一部だけを変更してほぼ使いまわしの状態は パスワードクラックされてしまう可能性が更に高まる危険性があります。 Pass2Edit 以下のページに「Pass2Edit」という手法が紹介されております。 www.use…

「さはら３」です。 AI副業でどこまでいけるのか？をテーマに頑張っていきたいと思います。 いつも読んで頂きありがとうございます。 頭の体操 テーマ ワードクラウド画像とはなんぞや？ スクリプト スクリプトの説明 頭の体操：解答 本日のAI着物美女 頭の体操 １か所だけ異なる漢字が入っています。（解答は一番最後に掲載） 問題 テーマ さて、今回のテーマは「ワードクラウド画像」です。 ワードクラウド画像とはなんぞや？ ワードクラウド画像 この様な、テキストをマイニングし、画像化したモノを指します。 上記ワードクラウド画像は、本ブログのワードを参考に作成しました。（もちろんChatGPTさんのおかげ…

注目が続くプログラミング言語「Python」をご紹介します。どんなことができるのか、なぜ話題になっているのか。“初心者にやさしい言語”といわれる、その特徴も。プログラミングを学びたい人に共通して役立つ内容です。ぜひご活用ください。 Pythonは初心者にやさしい言語？ Pythonの自習で大事なことは？ Pythonの自習でつまずいたら？ Pythonってどんな言語？ Pythonはちょっとした処理を容易に書けることが特徴です。 ■電卓のように使える たとえば、「3 + 5」と書いて実行すると「8」という答えが得られ、「4 * 5」と書いて実行すると「20」という答えが得られます。このように、…