Hatena Blog Tags
はてなブログ トップ
情報検索
このタグでブログを書く

情報検索

(サイエンス)
【じょうほうけんさく】

ある文書集合（たとえばウェブ）から欲しい文書を取り出すというタスクを指す学術用語。また、その研究分野。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
検索メモ•6ヶ月前

Scaling Laws For Sparse Retrieval と言えるのか実験してみた

はじめに この記事は情報検索・検索技術 Advent Calendar 2024 の 23 日目の記事です。． Scaling Laws For Dense Retrieval に論文を読んで、これを Sparse Retrieval で試すとどうなるんだろうと思ったので実験してみた記録。いわゆるやってみたブログです。 arxiv.org どういう論文？ モデルの性能評価するには既存の評価メトリクスに課題があるので新しいメトリクスを提案 dense retrivalモデルが精度とモデルサイズ、データサイズに冪乗則に従うことが観測された スケーリング則により予算配分の予測ができる。 スケーリング…

#情報検索#Splade

ネットで話題

もっと見る
778ブックマークぐるなび-宴会・グルメ情報検索サイトwww.gnavi.co.jp
448ブックマークTECH PLAY［テックプレイ］ - IT勉強会・イベントなどの情報検索サービスtechplay.jp
429ブックマークドメイン/IPアドレス【whois情報検索】ドメイン/IPアドレス【whois情報検索】は、サーバー監視者向けにご提供しています。 「不正アクセスしているのは誰か？」 「自分の管理しているサーバーのIPアドレスをチェックしたいが？」 「どこの国からのアクセスか？」 「ドメインのホスト名・IPアドレスは？」 「IPアドレスのホスト名は？」 などのIP検索(IPサーチ...www.cman.jp
327ブックマーク転職･求人情報検索 | Indeed あらゆる仕事 まとめて検索"),r.close()),!r)throw Error("base not supported");var a=r.createElement("base");a.href=n,r.getElementsByTagName("head")[0].appendChild(a);var i=r.createElement("a");return i.href=t,i.href}finally{e&&e.parentNode.removeChild(e)}}());var s=a(t||""),f=function(){if(!("defineProperties"in Object))re...jp.indeed.com
278ブックマークElasticsearch を使った位置情報検索 - クックパッド開発者ブログtechlife.cookpad.com
178ブックマーク社内情報検索システムで用いられるRAGの4つの実装方法speakerdeck.com
174ブックマーク【SEOお宝情報】検索ランキングアルゴリズム主要19種一覧（グーグル公式）【SEO情報まとめ】 | 海外&国内SEO情報ウォッチwebtan.impress.co.jp
171ブックマーク製造業向け情報検索サイト イプロスものづくりすべての分類 電子部品・モジュール 機械部品 製造・加工機械 科学・理化学機器 素材・材料 測定・分析 画像処理 制御・電機機器 工具・消耗品・備品 設計・生産支援 IT・ネットワーク オフィス 業務支援サービス セミナー・スキルアップ 医薬・食品関連 その他mono.ipros.com
165ブックマーク情報検索ことはじめ〜教科書編〜 - シリコンの谷のゾンビsleepy-yoshi.hatenablog.com

関連ブログ

Taste of Tech Topics•8ヶ月前

Pineconeでハイブリッド検索／リランクは検索精度にどのように寄与するか？

はじめに こんにちは、データ分析エンジニアの木介です。 秋も深まり、肌寒さを感じる季節となりましたが、皆様いかがお過ごしでしょうか。 今回はPineconeを使ったハイブリッド検索とリランクについて紹介していきます。 はじめに 概要 1. Pineconeとは 2. ベクトル検索とは 3. リランクとは 4. ハイブリッド検索とは Pineconeでのベクトル検索＋リランクを用いた検索/ハイブリッド検索の検証 1. 検証環境 2. 検索用のインデックス作成 3. ベクトル検索＋リランクを用いた検索の利用方法 4. ハイブリッド検索の利用方法 検証結果 まとめ 概要 今回は以下の形でPineco…

#生成AI#情報検索
検索メモ•1年前

IR reading 2024春で紹介しようと考えていたSparseモデルの論文

背景 IR reading 2024春で発表予定だった論文の紹介。 sigir.jp 都合により発表できなくなったのでここで供養する。 数式等細かいところまでまとめる時間なかったので読んでたときのメモ＋αくらいの内容。 どっちかにしようかなと思っていたけど、OneSparseのほうは発表があるっぽい。 Improved Learned Sparse Retrieval with Corpus-Specific Vocabularies(ECIR2024) Puxuan Yu, Antonio Mallia arxiv.org Sparseな学習済検索システムのefficiency と effe…

#IR#Sparse model#情報検索
Ahogrammer•1年前

Azure AI Searchを使った同義語によるクエリ拡張とその効果

PythonからAzure AI Searchのシノニムマップを作成し、クエリ拡張をして、その効果を日本語の質問応答データセットで確認してみました。昔からある機能で、とくに何か新しいことをしているわけでもないのですが、使いそうな機会があったので試してみました。 本記事の構成は以下のとおりです。 シノニムマップ シノニムマップの作成 インデックスの作成 実験設定 実験結果 参考資料

#情報検索#Azure
Ahogrammer•1年前

意味的知識グラフとApache Solrを使った関連語検索の実装

Manningから出版予定の『AI-Powered Search』（AIを活用した情報検索の意）を冬休み中に読んでいたら、その中で意味的知識グラフ（Semantic Knowledge Graph）と呼ばれるデータ構造について説明していて、関連語の計算やクエリ拡張などに使えるということで興味深かったので紹介しようと思います。最初に意味的知識グラフについて説明したあと、日本語のデータセットに対して試してみます。 AI-Powered Search（https://www.manning.com/books/ai-powered-search） 本記事の構成は以下のとおりです。 意味的知識グラフと…

#情報検索#自然言語処理
Ahogrammer•2年前

多言語E5をファインチューニングして検索性能を向上させる

多言語のテキスト埋め込み用のモデルであるMultilingual-E5[1]をファインチューニングして、検索性能が向上するか否かを日本語のデータセット検証してみました。結果としては、ファインチューニングすることで、OpenAIのtext-embedding-ada-002を上回る性能を確認できました。なお、E5については以下の記事で解説しているので、必要に応じて参照してください。 hironsan.hatenablog.com 本記事の構成は次のとおりです。 実験設定 実験結果 参考資料

#自然言語処理#情報検索
Ahogrammer•2年前

ハイブリッド検索で必ずしも検索性能が上がるわけではない

最近では、RAG（Retrieval Augmented Generation）を使って、検索して得られた文書を生成時に活用することがありますが、その性能を改善するための手法の1つとしてハイブリッド検索が知られています。ハイブリッド検索は、2つ以上の異なる検索技術を組み合わせた検索方法です。最近は、全文検索とベクトル検索の組み合わせを見ることが多く、その良いとこ取りをすることで検索性能を改善します。 ハイブリッド検索の有効性はいたるところで報告されていますが、「適当に全文検索とベクトル検索を組み合わせるだけで性能が上がるのか？」というとそれには疑問があります。ハイブリッド検索では、全文検索とベ…

#情報検索#自然言語処理
人間だったら考えて•2年前

Vespaでベクトル検索によるマルチモーダル検索システムを実装する

この記事は何？ マルチモーダル検索の流れ Vespaを利用したマルチモーダル検索の実装 実装する検索システムの概要 商品embeddingの管理方法 Embeddingの推論 Vespaのスキーマ設定 スキーマの定義 ランキングロジックの定義 Vespaへのデプロイとデータフィード マルチモーダル検索の実行 Vespaでのベクトル検索の方法 入力：検索キーワード、検索対象：画像 入力：画像、検索対象：商品タイトル 応用：ベクトル検索とキーワード検索の組み合わせ おわりに この記事は何？ 情報検索・検索技術 Advent Calendar 2023 - Adventar の1日目の記事です。 マ…

#情報検索#ベクトル検索#vespa#機械学習
Ahogrammer•2年前

検索性能を改善するハイブリッド検索で使えるランク融合アルゴリズム

Risk-Reward Trade-offs in Rank Fusionを読んでいて、検索システムの結果を統合するために使える教師なしのランク融合アルゴリズムについて書きたくなったのでまとめました。最近では、RAGの性能を改善するためにハイブリッド検索が使われることがありますが、その内部で各検索システムの結果を統合するために使うことができます。実際に計算する方法と合わせて紹介します。 記事の構成は以下のとおりです。最初に、検索の文脈からランク融合アルゴリズムについて例を交えて紹介した後、実際に計算する方法を紹介します。 アルゴリズム CombSUM CombMNZ Borda RRF 実際に…

#情報検索#自然言語処理