Hatena Blog Tags
はてなブログ トップ
近似最近傍探索
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

近似最近傍探索

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
エムスリーテックブログ•4年前

分散密ベクトル探索エンジンValdとSentence-BERTを使った類似文書検索を試す

エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近、社内で情報検索論文輪読会を立ち上げました。 情報検索論文読み会のスケジュール そこでNGT-ONNGについての論文*1を紹介したところ1時間の予定のところを盛り上がりすぎて2時間超えてしまいました。 大盛り上がりのついでに、今回は情報検索論文輪読会で紹介した近似最近傍探索ライブラリNGTを内部で利用するValdを使って、類似文書検索がどのように出来るのか、現状の問題を解決できるのかを試したので…

#自然言語処理#機械学習#近似最近傍探索

関連ブログ

ENGINEERING BLOG ドコモ開発者ブログ•5日前

LLMで爆速改善！たった3人で始めるマスターデータマネジメント

1. 概要:LLMを使ったマスターデータマネジメント 2. ジャンルメタデータの課題と対策 3. ジャンル集約プロセスの詳細 3.1. 実行プロンプト 3.2. 工夫した点:2階層構造の採用とジャンルの粒度調整 3.3. はまった点:LLMが苦手とする領域での工夫 4. 実施結果 5. まとめ 1. 概要:LLMを使ったマスターデータマネジメント NTTドコモ データプラットフォーム部の外山です。 NTTドコモでは、携帯回線事業の他、お客様の新たなライフスタイルを創出するスマートライフ事業を運営しており、 とりわけエンターテインメント領域では、書籍、映像サービスを提供しています。 豊富なコンテ…

エニグモ開発者ブログ•17日前

コスト削減と精度維持を両立！類似画像検索システムの内製化成功事例（システム編）

こんにちは、データサイエンティストの髙橋です。業務では企画/分析/機械学習モデル作成/プロダクション向けの実装/効果検証を一貫して行っています。 この記事では類似画像検索システムの内製化にあたり、システム面での課題をどのように解決したかについて紹介します。内製化の背景や機械学習部分などについては以前作成した記事で説明しており、この記事はその続きとなります。 この記事は Enigmo Advent Calendar 2024 の 5 日目の記事です。 内製化の目的・事業インパクト 類似画像検索のシステム化における課題 システム化における各課題の解決策 「商品画像ダウンロード > セグメンテーショ…

AITC - ISID | AI トランスフォーメンションセンター コラム•1ヶ月前

情報検索分野の最新研究をキャッチアップ！「IR Reading 2024秋」参加レポート

こんにちは！電通総研AITCの村本です。 2024年11月9日（土）に開催された「IR Reading 2024秋」に参加してきましたので、参加レポートをまとめます！ IR Readingについて 紹介 当日の様子 紹介された論文をいくつかピックアップ 紹介論文：MeMemo: On-device Retrieval Augmentation for Private and Personalized Text Generation（SIGIR 2024）[1] Leveraging LLMs for Unsupervised Dense Retriever Ranking (SIGIR 202…

地平線まで行ってくる。•2ヶ月前

ColabでArXiv論文データを加工してNotebookLMで使ってみる。

ローカルLLMの性能が上がってくると、今まで課金が怖くてできなかったこともやっちゃえと思い切ってできるようになってきました。そこで、ある分野の論文の概要をArXivを利用して入手し、RAG用データセットへの加工もトライしてみました。 bwgift.hatenadiary.jp 今回は、同じ要領でRAG用データとして整形します。 すっかりRAGは便利な道具になりました。ハルシネーションに気を付けてソースを確かめることに留意すれば、情報整理やたたき台の作成に利用できます。執筆や情報入手のため、論文などのＰＤＦファイルを活用しての解析や引用が楽になりました。執筆の道具として大変便利です。一方で、大量…

地方エンジニアの学習日記•3ヶ月前

【LLM】ベクトルデータベースとは

ベクトルデータベースとは ベクトルデータベースは、データをベクトル（多次元の数値データ）として保存・検索・処理するためのデータベースです。特に、近似最近傍探索（Approximate Nearest Neighbor, ANN）に特化しており、高次元空間におけるデータの類似性検索を効率的に行うのが特徴。 www.elastic.co 近似最近傍探索（Approximate Nearest Neighbor Search, ANN）は、データ空間の中で、与えられたクエリに最も近いデータポイントを厳密にではなく、近似的に素早く探すための技術。特に、高次元データ（次元が非常に多いデータ）に対して効率…

ZOZO TECH BLOG•5ヶ月前

ZOZOTOWNホーム画面のパーソナライズ - Two-Towerモデルで実現するモジュールの並び順最適化

はじめに こんにちは、データシステム部推薦基盤ブロックの寺崎（@f6wbl6）です。 私たちのチームではZOZOTOWNにおけるパーソナライズ機能と推薦システムを開発しており、2022年6月のテックブログではZOZOTOWNのホーム画面をパーソナライズした事例の1つを紹介しました。 techblog.zozo.com 今回は上記記事の続編として、ホーム画面での商品訴求の単位である「モジュール」の並び順をパーソナライズした取り組みをご紹介します。本記事がパーソナライズ機能や推薦システムを開発している方の参考になれば幸いです。

gijutsu’s blog•5ヶ月前

body { font-family: Arial, sans-serif; line-height: 1.6; color: #333; max-width: 800px; margin: 0 auto; padding: 20px; } h1 { color: #2c3e50; } h2 { color: #34495e; border-bottom: 1px solid #ecf0f1; padding-bottom: 10px; } table { border-collapse: collapse; width: 100%; margin-bottom: 20px; } th, td…

サーバーワークスエンジニアブログ•6ヶ月前

AWS Summit Tokyo 2024 レポート ２日目　セッション：Amazon Aurora の技術とイノベーションDeep dive（後半）

こんにちは😺 カスタマーサクセス部の山本です。 AWS Summit Tokyo 2024に行ってきました。 セッションのスピーカーと直接話せる場所もあり、家で動画を見るよりも発表内容を深く理解できました。同じ興味を持つ人たちとも出会えたので、モチベーションも上がりました。 1日目は張り切って9つのセッションに参加したので、帰り道には頭が熱くなっていて、夜はぐっすり眠れました。 参考：１日目のレポートです。 AWS Summit Tokyo 2024 レポート １日目 セッション：Dive deep on Amazon S3 - サーバーワークスエンジニアブログ 2日目も同じように濃厚な時間で…

きしだのHatena•6ヶ月前

日本語CLIPを使って画像検索を作ったら素晴らしすぎた

LINEヤフーから日本語CLIPが出ていたので、どうやって使うんだろうと試してたら、なんかめちゃくちゃ便利な画像検索ができてしまいました。 clip-japanese-basic LINEヤフーの日本語CLIP、clip-japanese-baseはこちらで紹介されています。 高性能な日本語マルチモーダル基盤モデル「clip-japanese-base」を公開しました HuggingFaceのモデルはこちら。 https://huggingface.co/line-corporation/clip-japanese-base CLIPとは？ ところでCLIPとは、となりますけど、OpenAIが…

CLOVER🍀•6ヶ月前

Apache LuceneでkNN検索とANN＋HNSWを使い分ける（Codecを使ったHNSWのパラメーター設定付き）

これは、なにをしたくて書いたもの？ 前にApache Luceneでベクトル検索（kNN検索）を試してみました。 Apache Luceneでベクトル検索（kNN検索）を試す - CLOVER🍀 この後でANNに関係するHNSWのパッケージやクラスがあるのを見つけたので、今回はこちらを扱ってみたいなと思いまして。 kNN検索、ANNとHNSW 前回使ったのはkNN検索でした。これはQdrantの時にも扱いました。 Qdrantのチュートリアルから、「検索品質を測定する（Measure retrieval quality）」を試す - CLOVER🍀 あらためて内容を書いておきます。 k近傍法（…

iimon TECH BLOG•7ヶ月前

ベクトルデータベースについて調べてみた

こんにちは、iimonでエンジニアをしている須藤です。 今回は、AWSのdocumentを読んでいて、ベクターストアという記述があり気になったので調べてみました。 ベクトルデータベースとは ベクトル化について ベクトル化に利用するモデルと概要 ドキュメントベースのモデル(意味的関連性) bag-of-words(文章を単語に分けて順序関係なしに袋に詰めるイメージ) LSA、PLSA、LDA(トピックモデル) ニューラルネットワークを用いたアプローチ word2vec(単語の意味を考慮できるモデル、意味的類似性) RNN(リカレントニューラルネットワーク) LSTM(長・短期記憶) Transf…

SEが最近起こったことを書くブログ•8ヶ月前

2024年4月15日の週に気になった記事などまとめ

ゼロから始める自作LLM 小さなLLMを多数組み合わせることで、単一の巨大モデルに匹敵する可能性 コンテナ使うならAzureで決まり！個人的推しサービスのAzure Container Appsを語る_ ML system design: 300 case studies to learn from GUIと日本語環境が使えるお手軽Docker環境の使い方 101 real-world gen AI use cases featured at Google Cloud Next ’24 Heron-Bench: 日本語Vision＆Languageモデルの性能評価ベンチマークの公開 Intro…

CLOVER🍀•9ヶ月前

Qdrantのチュートリアルから、「検索品質を測定する（Measure retrieval quality）」を試す

これは、なにをしたくて書いたもの？ Qdrantのチュートリアルから、「検索品質を測定する（Measure retrieval quality）」を試してみたいと思います。 Measure retrieval quality - Qdrant 今回のチュートリアルの狙い 今回扱うチュートリアルは、こちらの「検索品質を測定する（Measure retrieval quality）」です。 Measure retrieval quality - Qdrant どういうことをするのか？というのは、まずはこのページを読み進めて見てみようと思います。 まずは冒頭を読むと、このチュートリアルでは「セマンテ…

わさっきhb•1年前

論文指導(2023年度その1)

書式 句点は「．」（全角ピリオド），読点は「，」（全角カンマ）で統一してください（半角のピリオドやカンマをよく見かけます）． Wordで置換する際には，あいまい検索のチェックを外し，「すべて置換」ではなく，「次を検索」「置換」を使用してください． 句読点（．，）の直後の半角空白を取り除いてください． 「1.1研究背景」という，節番号と節見出しは，詰まった感じがします．「1.1 研究背景」のように，全角空白1文字分，空けてください．目次にも反映させてください． 節/項番号と見出しの行の前に，1行の空行を入れてください．ただし「～.1.」の節や項で，すぐ前が章番号や節番号の場合（例えば2章と2.1…