Hatena Blog Tags
はてなブログ トップ
fasttext
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

fasttext

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
okpy•15日前

Python FastText: テキスト分類、まだ時間とCPUを浪費していませんか？

Python FastText: テキスト分類、まだ時間とCPUを浪費していませんか？ 📝 TL;DR (3行要約) Facebookが開発した、テキストの「意味」を捉えて分類するためのライブラリです。 ニュース記事のカテゴリ分けやスパム判定など、大量の文章を高速に仕分けしたい時に使います。 特別なGPUがなくてもCPUだけで驚くほど速く、辞書にない新しい言葉にも強いのが最大の魅力です。 1. 🤔 一体FastTextとは何？（核心的な役割と主な使用例） プログラミングの世界へようこそ！今日は、たくさんの文章データを扱うときに、あなたの強力な相棒になってくれる「FastText」というライブラ…

#Python#自然言語処理#機械学習#テキスト分類

関連ブログ

PyDocument•3年前

Pythonでの自然言語処理: gensimでFastTextを実装する方法

自然言語処理（NLP）は、コンピュータが自然言語を理解し、処理するための技術です。PythonはNLPの実装に広く使用される言語であり、gensimというライブラリはPythonのNLPタスクにおいて非常に便利です。本記事では、gensimを使用してFastTextを実装する方法について詳しく説明します。FastTextは、単語や文のベクトル表現を学習するための効果的な手法であり、様々なNLPタスクに応用することができます。 FastTextとは FastTextは、Facebookが開発した自然言語処理（NLP）のためのライブラリであり、単語や文のベクトル表現を学習することができます。Fas…

#Python#自然言語処理#gensim
まこTech•4年前

fastTextをUbuntuにインストールする

はじめに WSLで用意したUbuntu 20.04.2 LTSの環境にfastTextをインストールします。 fastTextはfacebookが開発した、自然言語処理を行うための軽量なライブラリです。 fasttext.cc はじめに rootユーザにスイッチ gitコマンドをインストール コンパイラのインストール インストールの確認 fastTextのインストール 最後に rootユーザにスイッチ 以下コマンドを実行します。 sudo su - gitコマンドをインストール 以下コマンドを実行します。 apt update apt -y install git コンパイラのインストール f…

#Ubuntu#WSL#自然言語処理
ものづくりのブログ•5年前

fasttext で Wikipedia の情報を学習させみて、今年1年を振り返る中で浮かんだ言葉の類似語を探してみる（NLP）

2020年もあともう少し、 今年は世界中が大変な1年でした。今年は新型コロナウィルスとかあつもりとかアマビエとか鬼滅の刃とかいろいろあるけど、 これらの言葉がどんな言葉と類似しているかちょっとだけ興味深いです。 fasttext の準備 作業内容 wikipedia の情報でデータ作成 wikipediaのダウンロード 日本語版wikipediaのテキストデータを取得 wikipediaデータ整形 mecab で分かち書き fasttext で評価 skipgram アルゴリズムで単語ベクトルを学習 テスト評価 単語と単語の近さを比較 特定の単語に似ているものを検索 流行語大賞で類似語を探して…

#機械学習#NLP#fasttext