Word2Vec

このタグでブログを書く

言葉の解説

ネットで話題

Word2Vec

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

Sony Music | Tech Blog•7ヶ月前

LLM時代の今、あえて学んでおきたいWord2Vec

皆さんこんにちは。ソニー・ミュージックエンタテインメントで生成AIの調査・検討を行っているみみずくです。皆さんはコンピューター上で言語を処理するというと、どんな技術を想像するでしょうか。多くの方は、ChatGPTをはじめとする大規模言語モデル（LLM）をイメージされると思います。しかし、LLMは必ずしも万能の存在ではなく、思ったように動いてくれないことも少なくありません。そんな時にはLLMに頼りきりにならず、あえて少し古い技術に当たってみることも有効です。そこで、ここではLLMが登場するまで中心的な言語処理技術であった「Word2Vec（ワード・トゥ・ベック）」について紹介し、その中で行…

#Word2Vec#大規模言語モデル#LLM

ネットで話題

antibayesian.hateblo.jp

512ブックマーク Python - Perl + Java = ？はてなブログのデータとパソコン工房のPCを使って「word2vec」で遊んでみた - はてなニュース

hatenanews.com

395ブックマーク word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室

www.randpy.tokyo

326ブックマーク自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData

business.nikkeibp.co.jp

218ブックマークサブカルのためのword2vec | BLOG - DeNA Engineering

engineering.dena.com

214ブックマーク Word2Vec のニューラルネットワーク学習過程を理解する · けんごのお屋敷 Word2Vec というと、文字通り単語をベクトルとして表現することで単語の意味をとらえることができる手法として有名なものですが、最近だと Word2Vec を協調フィルタリングに応用する研究 (Item2Vec と呼ばれる) などもあるようで、この Word2Vec というツールは自然言語処理の分野の壁を超えて活躍しています。実は Ite...

tkengo.github.io

195ブックマーク Word2Vec：発明した本人も驚く単語ベクトルの驚異的な力

deepage.net

184ブックマーク word2vecによる自然言語処理

www.oreilly.co.jp

175ブックマークニューラルネットによる単語のベクトル表現の学習〜 Twitterのデータでword2vecしてみた - 病みつきエンジニアブログ

yamitzky.hatenablog.com

関連ブログ

PyDocument•2年前

Pythonでの自然言語処理: gensimでWord2Vecを実装する方法

自然言語処理は、テキストデータから意味や関係性を抽出するための重要な技術です。その中でもWord2Vecは、単語の分散表現を学習するためのアルゴリズムであり、gensimライブラリを使用してPythonで実装することができます。この記事では、gensimを使用してWord2Vecを実装する方法について、具体例とコードを交えて説明します。 Word2Vecとは Word2Vecは自然言語処理のためのアルゴリズムで、単語の分散表現を学習します。近くに出現する単語は意味的に類似しているという仮定に基づき、大規模なテキストデータを学習データとして使用します。Skip-gramとCBOWという2つのアル…

#Python#Word2Vec#自然言語処理#gensim

Frqux’s AI laboratory•2年前

Word2Vecの学習（2023/03/01時点の日本語wikipediaコーパス）

こんにちは、ふらうです。今回は、Word2Vecの学習を実行していきます。学習の手順としては以下の通りです。学習データの準備この段階で進めていきます。なお、出来上がった学習済みモデルはGitHubにて公開するので、ご自由にご利用ください。公開しました！以下のリンクよりgithubへ飛べます。 https://github.com/Frq09/w2v.git 学習データの準備日本語wikipediaコーパスのダウンロードフォルダの解凍および前処理分かち書きする学習進捗の表示学習の実行モデルの保存実験類似単語の検索単語の足し引きまとめ参考文献学習データの準備今回…

#機械学習#Word2Vec#学習済みモデル#Python#gensim

ビジネスパーソン・ガジェット置場　empty lot for business•3年前

Python: ディープラーニング用語②（様々なニューラルネットワーク）

備忘録です。今回はディープラーニングの内、自然言語処理の用語をまとめたものです。

#自然言語処理#RNN#seq2seq

Yoshimaru's Blog•3年前

Word2vec型で格納されたデータの語彙一覧を見る

Gensim のword2vec型の語彙一覧を見る方法についてベクトルを得る方法は色々あるが，そもそもキーがあるかどうかがわからないとエラーが出るので，語彙一覧は見たい所．以前のバージョンでは以下で取得できたようだが，4.0.0で仕様が変更． from gensim.models import word2vec model = word2vec.Word2Vec.load("ファイルのパス") print(model.wv.vocab.keys()) 4.0.0では以下のようにする print(model.wv.index_to_key) 公式の説明とサイト説明の日本語文は以下（ベタ翻訳…

#gensim

ノンタイトル•4年前

【Python】Word2Vecの仕組みとモデルの作成を解説

今回はWord2Vecの仕組みからモデルの作成まで解説していくよ～。単語同士の四則演算とかもしていくのでよかったら最後まで読んでね。

#Word2Vec#Python#プログラミング

harukary.log•4年前

Pythonでベクトル表現・演算を行う【Word2Vec】

Pythonで単語のベクトル表現・演算を行う Word2Vecは、自然言語の単語の意味をベクトル表現する手法です。また、以下のような意味的な演算が可能であることが有名です。「King (王) – Masculinity (男性) + Femininity (女性) = Queen (女王)」モチベーション前回GiNZAを紹介しました。このときに、単語ベクトルを見て、Word2Vecを思い出しました。また、単語のベクトル表現について、Word2Vecを試してみようかなと思いました。例えば、「焼く＋水＝煮る・茹でる」になるのかなど。ただ、「水を入れて火にかける」という説明を学習デー…

#Word2Vec#自然言語処理#Python