Hatena Blog Tags
はてなブログ トップ
ストップワード
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

ストップワード

(コンピュータ)
【すとっぷわーど】

【stop word】あまりにたくさん検索にかかりすぎるので、検索精度の向上のためには検索対象から除外せざるを得ない語。助詞や助動詞などの機能語(日本語ならば「は」「の」「です」「ます」など、英語ならば「the」「of」「is」など)は、殆んどの場合これに該当する。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Ahogrammer•21時間前

ハイブリッド検索で必ずしも検索性能が上がるわけではない

最近では、RAG（Retrieval Augmented Generation）を使って、検索して得られた文書を生成時に活用することがありますが、その性能を改善するための手法の1つとしてハイブリッド検索が知られています。ハイブリッド検索は、2つ以上の異なる検索技術を組み合わせた検索方法です。最近は、全文検索とベクトル検索の組み合わせを見ることが多く、その良いとこ取りをすることで検索性能を改善します。 ハイブリッド検索の有効性はいたるところで報告されていますが、「適当に全文検索とベクトル検索を組み合わせるだけで性能が上がるのか？」というとそれには疑問があります。ハイブリッド検索では、全文検索とベ…

関連ブログ

AITC - ISID | AI トランスフォーメンションセンター コラム•16日前

Microsoft Ignite 2023: 「AI トランスフォーメーションと変革を推進するテクノロジ」はどんな感じだった？

Microsoft Ignite は、米国マイクロソフト本社主催の年次最大のテクニカル カンファレンスです。 2023年は、 [日本時間]11 月 16 日 (木) – 17 日 (金)に、「Experience AI transformation in action at Microsoft Ignite」をテーマに開催されました。 タイトルは直訳すると、「Microsoft Ignite で実際に AI 変革を体験してください」ということで、まさにAIのイベントでした。 「そのIgniteのAIイベントはどんな感じだった？」 に答える形で、 全体感を知りたい方向け もう少し詳しく知りたい方…

記録と独り言•1ヶ月前

自然言語処理で出てくる単語集

自然言語処理で出現する単語の解説を書いていきます NLP（Natural Language Processing） 自然言語処理のことかっこよく英語にした感じ 自然言語 人間がコミュニケーションで使用する言語のこと 自然言語以外の言語はプログラミング言語や人工言語など 形態素解析 入力された文を形態素まで分解する技術 形態素とは、何らかの意味を持つ最小限の文字の集まりのこと 形態素解析で使用するツール MeCab JUMAN ChaSen 係り受け解析 文の中の単語や語句の構文的な関係を特定することで、文法的な構造を理解し、文中の単語やフレーズがどのように相互に関連しているかを示す依存関係を特…

Never Too Late•1ヶ月前

scikit-learn/scipyを使い、コサイン類似度ベースで階層型クラスタリングをするときのメモ

scikit-learn, scipyを使い、文章をコサイン類似度を用いて階層型クラスタリングを行おうとしたときに少し詰まったのでメモです。 まずは以下のような文章を用意します。Chat GPTに作らせたそれぞれバスケットボール、野球、交通渋滞に関する50単語のニュースです。 doc1 = "Last night, the City Hawks clinched a nail-biting victory against the Mountain Lions, 102-99. Star player, Jordan Mitchell, secured the win with a last-s…

Insight Edge Tech Blog•2ヶ月前

ChatGPT (LLM)を用いたテキスト分析

こんにちは、Insight Edge（以下、IE）のData Scientistの石倉です。私はIEにジョインしてから約1年が経ったところで、振り返るとまだ1年かと思う時もあれば、もう1年かと思うこともある不思議な感覚です。最近は様々なプロジェクトに携わっており、ChatGPT (LLM)活用プロジェクトもその1つです。今回は、IE内のChatGPT活用の一部を紹介しようと思います！ 目次 はじめに 従来のテキストマイニング ChatGPTを用いた分析 Streamlit for LLM まとめ 参考文献 はじめに 皆さん既にご存知の通り、ChatGPTをはじめとした大規模言語モデル(以降LL…

Sahara3のAI副業•2ヶ月前

AI副業：ワードクラウド画像を作成したいです。

「さはら３」です。 AI副業でどこまでいけるのか？をテーマに頑張っていきたいと思います。 いつも読んで頂きありがとうございます。 頭の体操 テーマ ワードクラウド画像とはなんぞや？ スクリプト スクリプトの説明 頭の体操：解答 本日のAI着物美女 頭の体操 １か所だけ異なる漢字が入っています。（解答は一番最後に掲載） 問題 テーマ さて、今回のテーマは「ワードクラウド画像」です。 ワードクラウド画像とはなんぞや？ ワードクラウド画像 この様な、テキストをマイニングし、画像化したモノを指します。 上記ワードクラウド画像は、本ブログのワードを参考に作成しました。（もちろんChatGPTさんのおかげ…

ハイパーマッスルエンジニア•2ヶ月前

Meilisearchの日本語検索をさらに強化する

「Meilisearch」はOSSかつ日本語対応している検索エンジンで以下の特徴がある。 高速 タイポに強い カスタマイズ可能：検索結果のランキングルールやシノニム、ストップワードなどを設定できる RESTful API：シンプルで直感的なAPIを持っており、多くの言語でのクライアントが利用可能 軽量：低リソースで動作する Faceted searchとフィルタリング：簡単に結果をフィルタリングしたり、特定の属性に基づいて検索できる セットアップも簡単で、Dockerですぐに立ち上げることができる。5分もかからない。 日本語検索がちょっと微妙 そのままでも日本語検索に対応していて、普通に検索で…

noellabo's tech blog•3ヶ月前

Mastodon v4.2とFedibirdの検索文字列（早見表）

Mastodon v4.2およびFedibirdの、検索欄に入力する検索文字列の書式と効果の一覧です。 アカウントと投稿の照会 特定の書式を検索の入力欄に指定すると、アカウントや投稿を照会する動作となる。 相手から個別およびサーバ単位でブロックされていたり、相手側サーバとの通信に問題がある場合、正しい指定をしても照会に失敗することがある。 分類 書式 効果 アカウント照会 @noellabo@fedibird.com ローカルアカウントを照会したり、未知のリモートアカウントをネットワークから照会する（その1）。情報が古くなっている既知のアカウント情報を更新する効果もある。 アカウント照会 ht…

izmyonの日記•6ヶ月前

今日の論文2023/06/16,17：COMET: Commonsense Transformers for Automatic Knowledge Graph Construction

COMET: Commonsense Transformers for Automatic Knowledge Graph Construction aclanthology.org ©2022 Association for Computational Linguistics License: Creative Commons Attribution 4.0 International License(CC-BY) 本記事は、原著の内容に基づき筆者が要約または翻訳したものです。以下の図は、そこから引用しています。 This article is my summary or translati…

心理系技術職の心理ノート•6ヶ月前

【無料】テキストマイニングはユーザローカルにお任せ

本記事は「案件」ではありません。*1 こんにちは。 最近は色々な企業で、「機械学習で仕事をなんとか効率化せよ」といった趣旨の指示がされるようになりました。 でも、機械学習の数学的背景を丁寧に学んでモデルを実装するのは中々辛いです。そこで今回は「コードを書かずに機械学習を実践できるツール」を実際に使った私が紹介します。 無料の機械学習ツールの種類 最近はノーコードで動かせる機械学習のツールも増えてきました。 画像の分類であればGoogleのTeachableMachine、テキストマイニングであれば今回紹介するユーザローカル社の各種ツール。 画像やテキストを登録すれば、あとは自動でモデル生成と分…

AIko Code Symphony•6ヶ月前

Pythonでデータ精製と分析のための自然言語処理技術

はじめに Pythonは自然言語処理技術（NLP）の実装に最適なプログラミング言語の1つです。NLPは、テキストデータを分析し、内容を理解するための技術です。Pythonでは、数多くのNLPライブラリが利用でき、アルゴリズムに基づいた自然言語処理を簡単に実現することができます。 この記事では、Pythonを使用してデータ精製と分析のためのNLP技術を実装する方法を紹介します。 自然言語処理（NLP）とは 自然言語処理（NLP）とは、自然言語（人間が日常的に使用する言語）を分析し、理解するための技術です。日本語、英語、中国語など、さまざまな自然言語を解析することができます。 Pythonを使用し…

ITエンジニア ノイのブログ•7ヶ月前

TFIDF（Term Frequency-Inverse Document Frequency）モデルのVectorizer

TfidfVectorizerの役割 TfidfVectorizerとは TfidfVectorizerとは、与えられた複数の文書から、それぞれの文書をTF-IDFの値に基づいたベクトルに変換するためのツールです。TF-IDFは、文書の中での単語の出現頻度と逆文書頻度を組み合わせて、単語の重要性を評価する手法です。 入力 入力としては、複数の文章がリスト形式で与えられます。ここで、1つの文章が1つの文書に相当します。 例えば、 ['I go to the park .', 'I will go shopping .'] というリストが入力された場合、2つの文書があることを意味します。 Tfid…

PyDocument•7ヶ月前

Pythonでの自然言語処理: gensimでFastTextを実装する方法

自然言語処理（NLP）は、コンピュータが自然言語を理解し、処理するための技術です。PythonはNLPの実装に広く使用される言語であり、gensimというライブラリはPythonのNLPタスクにおいて非常に便利です。本記事では、gensimを使用してFastTextを実装する方法について詳しく説明します。FastTextは、単語や文のベクトル表現を学習するための効果的な手法であり、様々なNLPタスクに応用することができます。 FastTextとは FastTextは、Facebookが開発した自然言語処理（NLP）のためのライブラリであり、単語や文のベクトル表現を学習することができます。Fas…

PyDocument•7ヶ月前

Pythonでの自然言語処理: gensimでDoc2Vecを実装する方法

自然言語処理は、テキストデータから意味や関係性を抽出するための重要な技術です。その中でも、単語や文章をベクトル表現に変換する方法が注目を集めています。本記事では、Pythonのgensimライブラリを使用して、Doc2Vecと呼ばれる手法を実装する方法について解説します。具体的な例とコードを交えながら、手順を詳しく説明します。 Doc2Vecとは Doc2Vecは、テキストデータをベクトル表現に変換する手法であり、単語の分散表現（word embeddings）を拡張して文章全体のベクトル表現を得ることができます。 通常の単語の分散表現（Word2Vec）では、単語ごとにベクトルが生成されます…