Word2Vec

こんにちは、ふらうです。 今回は、Word2Vecの学習を実行していきます。 学習の手順としては以下の通りです。 学習データの準備 この段階で進めていきます。なお、出来上がった学習済みモデルはGitHubにて公開するので、ご自由にご利用ください。公開しました！以下のリンクよりgithubへ飛べます。 https://github.com/Frq09/w2v.git 学習データの準備 日本語wikipediaコーパスのダウンロード フォルダの解凍および前処理 分かち書きする 学習 進捗の表示 学習の実行 モデルの保存 実験 類似単語の検索 単語の足し引き まとめ 参考文献 学習データの準備 今回…

備忘録です。今回はディープラーニングの内、自然言語処理の用語をまとめたものです。

Gensim のword2vec型の語彙一覧を見る方法について ベクトルを得る方法は色々あるが，そもそもキーがあるかどうかがわからないとエラーが出るので，語彙一覧は見たい所． 以前のバージョンでは以下で取得できたようだが，4.0.0で仕様が変更． from gensim.models import word2vec model = word2vec.Word2Vec.load("ファイルのパス") print(model.wv.vocab.keys()) 4.0.0では以下のようにする print(model.wv.index_to_key) 公式の説明とサイト 説明の日本語文は以下（ベタ翻訳…

今回はWord2Vecの仕組みからモデルの作成まで解説していくよ～。 単語同士の四則演算とかもしていくのでよかったら最後まで読んでね。

これはなに？ Word2Vecを使って、ポルカの歌詞データを分析したので、その結果について可視化してみました。 前回の記事でモデル化まで終わっているので、内容としては結構簡単です。 歌詞データの分析モデル作成は以下の記事を参照ください。 www.cloudnotes.tech

これはなに？ 前回自然言語処理をする環境構築をやってみたので、GWの宿題として実際に分析をやってみました。 せっかくなので自分が好きな分野で分析してみたかったので、好きなアーティストのポルカドットスティングレイの歌詞データを自然言語処理、分析してみました。

これはなに？ 業務で自然言語処理をすることが多くなって、環境構築するのがメンドイのでコンテナ化してみました。 形態素解析のためにMeCab、Word2Vecを利用するためにgensimをそれぞれインストールし、プラットフォームとしてJupyterLabを利用できるようにしています。

小西秀和です。 今回は新しく追加されたAWS認定であるAWS Certified AI PractitionerとAWS Certified Machine Learning Engineer - Associateに私が合格するまでの学習過程で得られたナレッジを「AWSに関するAI・機械学習用語集」として、ざっくりとまとめてみました。 この「AWSに関するAI・機械学習用語集」の内容は、日本の「技術書典17」向けに個人出版として共著した「AWSの薄い本の合本Vol.01」における「クイズで学ぶAWSの機能と歴史：厳選『機械学習』編」の問題・解答にも使用しています。 短時間にAI・機械学習の用…

TL;DR NTT DOCOMO R&Dは，KDDCUP2024 OAG-INDタスクにおいて380チーム中6位入賞しました． KDD2024/KDDCUP2024に関する情報及び現地レポートについては，こちらの記事をご覧ください． 本記事では，OAG-INDタスクにおけるNTT DOCOMO R&Dの解法をご紹介します． NTT DOCOMO R&Dの解法をより詳細に知りたい方は，ソースコード及び論文をご参照ください． ソースコード：Link / 論文：Link OAG-INDの順位表 はじめに NTT DOCOMO R&D サービスイノベーション部 Principal Data Scien…

2024-11-10 日曜日。珈琲館で甘利先生の「めくるめく数理の世界」を読んだ。 まず、9割方わからない。数式は全然追えない。なのでこれは読んだとはいえないだろう。自分の数学の知識からいっても手を出したのがそもそもおかしい。 それでも、読書というのが、著者の言うことを正確に理解すること以上に（そもそも完全に正確に情報を受け取るのは無理という話もある）、自分が何かを感じ取ったり、考え方に影響を受けて変化したりするためにするべきものだとすれば、わからないなりに何かは得られた気がしている。 特に、文体から滲み出ている、研究に熱中しているその姿勢というか生き方に感動したのだ。登山家が山を登る映像を見…

本記事は執筆中ですが，先んじて公開します． 都度編集されますが，ご了承のほどよろしくお願いします。 とくに断りがない限り，図表は論文より引用． 基本情報 Section1 Section2 Section3 Section4 Section5 Section6＆Limitation 付録 感想 基本情報 著者 Sho Yokoi and Han Bao and Hiroto Kurita and Hidetoshi Shimodaira BibTeX @misc{yokoi2024zipfianwhitening, title={Zipfian Whitening}, author={Sho …

はじめに こんにちは、サービスイノベーション部の山路です。 普段の業務ではデジタルマーケティングに関する技術検討や研究開発を行っています。本記事では、近年取り組んでいるグラフデータを活用したレコメンド技術に関して、その根幹となるGraph Embeddingの考え方や適用例について簡単にですがご紹介します。 はじめに 本記事の対象読者 Graph Embeddingについて グラフの利点 Embedding（埋め込み表現）の利点 本記事で取り扱うGE手法 手法概要 Node2Vec 実装例 GCN 実装例 Knowledge Graph Embedding 実装例 GE手法の適用例 ノード分類…

参考サイト モデル構築 サイトから学習済みモデルを入手 モデルの読み込み モデルの使用例 類似度の高い単語の抽出(most_similar) 参考サイト models.keyedvectors – Store and query word vectors — gensim モデル構築 サイトから学習済みモデルを入手 東北大学が公開している日本語版Wikipediaの学習済みモデルを使用しました。 以下のサイトより「20170201.tar.bz2」をダウンロードしたら解凍をします。 日本語 Wikipedia エンティティベクトル モデルの読み込み 本時期ではgensimを使うので、こちらのパ…

Today（※最近） I learnedシリーズ。 mecab-python3のドキュメントに書いてあります。 https://github.com/SamuraiT/mecab-python3/blob/v1.0.9/README.md#specifying-a-mecabrc You can specify an empty mecabrc like this: tagger = MeCab.Tagger('-r/dev/null -d/home/hoge/mydic') 目次 目次 MeCab.Tagger()初期化でRuntimeError mecabrcを指定する。/dev/null…

先日、今の職場のデータサイエンス部署から、一般コンサルティングの部署に異動しました。この3年間はデータサイエンティストの端くれとしてこの業界で稼ぐ面白さと難しさを感じたので、簡単に振り返ろうと思います。 なぜデータサイエンティストを志望したのか そもそもデータサイエンティストの定義は何か、という問題がありますが、私の理解では、定量化された情報であるデータを用いて、情報の要約・可視化、予測や分類を行うことで課題解決や意思決定のための示唆を提示する職種、だと理解しています。なので定義そのものの中に、データやデータ分析を使うという方法論（how）が含まれていて、課題解決や意思決定の具体的な中身は業種…

こんにちは。Sansan株式会社 技術本部 研究開発部の大田尾 匠と申します。普段は、営業DXサービス「Sansan」でメールから氏名や会社名などの名刺相当の送信者情報を抽出する「メール署名取り込み」という機能の性能改善に取り組んでいます。メールは過去のスレッドも含めるとテキスト長が膨大になることや、複数人の情報が含まれていることもあり、その中から送信者情報のみを抽出するのは簡単ではなく、アルゴリズムに工夫し甲斐がある面白い問題です。この記事では、私が学部・修士の時に研究していた「最適輸送 （Optimal Transport）」という手法について紹介します。最適輸送は、物流の最適化をするとい…

Embedding（エンベディング）とは、情報をコンパクトな数値ベクトル（多くの場合は高次元ベクトル）に変換する技術を指します。主に機械学習や自然言語処理の分野で使用され、文章や単語、画像、その他のデータを数値の形で表現することで、コンピュータがそれらを処理しやすくする。ベクトルとかは高校とか大学でもやって気がするけど苦手な分野なので正直難しそうという印象しかない。 atmarkit.itmedia.co.jp Embeddingのフロー データ収集と前処理 語彙の作成 単語の数値化 モデルに渡してEmbeddingベクトルを生成 Embeddingベクトルの利用 こんな流れになる。ベクトルデ…

こんにちは、テックリードの丸山です。 最近、PLAY 社内で LT 会「てっくじゃむ」を開催しました。「てっくじゃむ」という名前は、ジャムセッション（即興で行われる演奏会）のように、普段はあまり関わりがない人たちが、ふらりと立ち寄って話をするような場であってほしい、また、パンにジャムを塗るようにエンジニアにも知識を塗り足していきたい、といった想いを込めて運営メンバーで考えて決めたものです。 ▼ 社内のデザイナーさんにロゴも用意していただきました！ 今回は私を含め 6 名のメンバーが登壇を行いました。 登壇者 発表テーマ 丸山 PLAY CLOUD に Vite を導入して開発効率を改善した話 …