Hatena Blog Tags
はてなブログ トップ
ストップワード
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

ストップワード

(コンピュータ)
【すとっぷわーど】

【stop word】あまりにたくさん検索にかかりすぎるので、検索精度の向上のためには検索対象から除外せざるを得ない語。助詞や助動詞などの機能語(日本語ならば「は」「の」「です」「ます」など、英語ならば「the」「of」「is」など)は、殆んどの場合これに該当する。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
yuki-uchidaの雑思考•2日前

副業データサイエンティストが5年間で読んだ本

この記事について バックグラウンド 本業はTypeScriptを主に書いているWebエンジニアで社会人5年目。副業ではデータサイエンティスト/機械学習エンジニアをやっていてこちらも5年目。 この記事を書いた理由 最近読んだ「科学的根拠に基づく最高の勉強法」という本の中に、「思い出す頻度が高ければ高いほど定着する」という話があった。 なので、読んだ本の内容を思い出し定着させるきっかけとするためにこの記事を書いている。 科学的根拠に基づく最高の勉強法作者:安川 康介KADOKAWAAmazon 紹介する本のラインナップについて 統計や機械学習の理論をガチガチにするのは難しいと判断して、理論寄りの書…

関連ブログ

からっぽのしょこ•4日前

【R】2.1：トピックモデルの文書集合の作成【青トピックモデルのノート】

はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事では、MeCabを利用して各種モデルによる推論用の頻度データをRで作成します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 2.1 トピックモデルの文書集合の作成 文字コードの変換 文書データの整形 語順を記録しない場合 語順を記録する場合 データの可視化 文書データの作図 参考書籍 おわりに 2.1 ト…

LegalOn Technologies Engineering Blog•1ヶ月前

Jaccard係数に基づく類似文書検索の高速化技法

こんにちは、LegalOn Technologiesでエンジニアをしている神田（@kampersanda）です。 本記事では、Jaccard係数に基づく類似文書検索の高速化技法を解説し、契約書検索での実験結果を報告します。

anone200909’s diary•2ヶ月前

『入門自然言語処理』（Steven Bird他著、オライリー・ジャパン、2010年11月8日発行）

NLTKは元もとペンシルバニア大学で作成されたPythonによる自然言語処理ライブラリー。 バイグラムは単語のペアである。コロケーションは頻繁に共起するバイグラム：例 red wine。 テキストコーパス 語彙資源：語彙項目（見出し語＋品詞＋語彙定義などで構成する）のリスト、語彙リストコーパス。ストップワードコーパス、発音辞書（単語＋音素リスト）、比較語彙リスト（約200の単語をいくつかの言語で記す） WordNet：シソーラスに似ているがよりリッチ。階層構造（概念として上位、下位、最上位語は一般的概念）、メロニムはある要素からそれを含む構成要素への関係（木を構成するのは幹、枝）、ホロニムは構…

豪鬼メモ•2ヶ月前

ChatGPTに英語の共起語のリストを生成させる

統合英和辞書には各見出し語の典型的な共起語のリストを収録しているが、その生成をChatGPTにやらせてみた。結構まともな結果が得られ、類語検索や連想単語帳の精度が上がった。さらに、例文を選択する際にその共起語を含むものを優先することで、より典型的な例文を提示できるようにした。

電通総研 テックブログ•2ヶ月前

基本概念から理解するAzure AI Search - Azure OpenAI Serviceとの連携まで

こんにちは。XI 本部AIトランスフォーメーションセンター所属の山田です。 先日、部内の勉強会でAzure AI Searchについて紹介したので、テックブログでもその内容を紹介したいと思います。 Azure AI Searchとは？ Azure AI Searchに保存されるデータに関する用語と概念 Azure AI Searchのスケーラビリティに関する用語と概念 Azure AI Searchでサポートされる検索の仕組み 全文検索について Azure AI Searchのアナライザー ベクトル検索について ベクトルの近傍検索アルゴリズム ハイブリッド検索 検索インデックスのスキーマ設計 …

anone200909’s diary•2ヶ月前

『Elastic Stack 実践ガイド』（惣道　哲也著、インプレス、2020年8月11日発行）

Elastic Search は全文検索ソフトとして2010年に登場した。索引検索を行う。 用語 転置インデックスは、単語と単語が出現する文書の組み合わせで作成されるインデックスのこと。 検索ライブラリー：インデクサとサーチャの機能を提供する。Apache Lucene（JAVA） 検索サーバレイヤ：Apache Solr、Elasticsearch。REST APIのインターフェイスを持つ。いずれも検索ライブラリLuceneを呼び出す。 検索システムレイヤ：クローラーやWebユーザーインターフェイスを持つ。エンタープライズサーチ製品。オープンソースではnamazu、Fessがある。 Elas…

データサイエンスの視点で日常を探る•3ヶ月前

西野カナに「恋」とは何か聞いてみた

いきなりですが、みなさん恋してますか？ 僕は出来てないです。というか恋が何か分かってません(笑)。 好きは分かるけど、恋って何か重い感じがする。「恋してる」何て言ったことないし、恋って何だーと思ったので、定義を調べてみると、 恋：異性に愛情を寄せること、その心。 ほほう。愛情とは？ 愛情：相手にそそぐ愛の気持。 ほほう。愛とは？ 愛：そのものの価値を認め、強く引きつけられる気持。 うーん….よく分からないので、よく恋をしてそうな西野カナ先生に聞いてみましょう！ どうやって聞くか？ 会って直接！とはいかないので、今回は西野カナ先生の歌に対して自然言語処理をして、先生が恋をどのように表現しているか…

Python転職初心者向けエンジニアリングブログ•3ヶ月前

自然言語処理（NLP）の基礎と応用: Pythonで学ぶテキストデータの解析

自然言語処理（NLP）は、コンピュータが人間の言語を理解し、処理するための分野です。PythonにはNLPを実現するための豊富なライブラリが存在し、本記事ではNLPの基礎から応用までをPythonコードを交えながら詳しく解説します。 1. NLPの基礎 1.1 テキストデータの前処理 NLPの最初のステップはテキストデータの前処理です。これにはテキストのクリーニング、トークン化、ストップワードの削除などが含まれます。 import re from nltk.corpus import stopwords from nltk.tokenize import word_tokenize # テキス…

Sansan Tech Blog•4ヶ月前

Elasticsearch ことはじめ

Contract One の開発チームで EM をやっている石畑です。Contract One は「契約データベースから、収益を最大化する」をタグラインに、契約業務や管理の効率化だけでなく、契約データをビジネスに活かすためにさまざまな機能開発を行っています。 その中で最近より検索機能の向上が重要になって来ているので、全文検索エンジンである Elasticsearch について調べてまとめました。Elasticsearch をざっくり把握したい人に役立つブログになれば嬉しいです。 なお、本記事は Sansan Advent Calendar 2023 25日目の記事です。

bob3’s blog•4ヶ月前

『データ可視化学入門』をRで書く 2.1 数量と図形の大きさを紐づける

2.1 数量と図形の大きさを紐づける この記事はR言語 Advent Calendar 2023 シリーズ2の4日目の記事です。 qiita.com 2.1.1 図形の大きさと数量を紐づける ##### 2.1.1 ##### library(tidyverse) library(ggpubr) label <- c("支持する", "支持しない", "どちらとも\nいえない", "無回答") data.frame( label=factor(label, levels = rev(label)), data=c(40, 32, 25, 3) ) |> ggdonutchart( x = "d…

ENGINEERING BLOG ドコモ開発者ブログ•4ヶ月前

LLMのテキスト埋め込みはどのように扱うべきか、レコメンド視点で考えてみた

本記事は、ドコモアドベントカレンダー2023の18日目の記事になります。 こんにちは。NTTドコモサービスイノベーション部1年目社員の髙橋克です。 入社してから、主にレコメンデーションシステムの技術開発に携わらせていただいてます。 本記事では、OpenAI、Googleの提供しているLLMのテキスト埋め込みモデルを使い、レコメンドを行う際の商品情報の特徴量化の方法について検討し、主観評価してみました。 始めに 自然言語処理（NLP）分野において、テキストデータの理解は重要な課題の一つです。初期段階ではキーワードベースのアプローチが主流でしたが、技術の進歩により、「Word2Vec」のような方法…

Ahogrammer•5ヶ月前

ハイブリッド検索で必ずしも検索性能が上がるわけではない

最近では、RAG（Retrieval Augmented Generation）を使って、検索して得られた文書を生成時に活用することがありますが、その性能を改善するための手法の1つとしてハイブリッド検索が知られています。ハイブリッド検索は、2つ以上の異なる検索技術を組み合わせた検索方法です。最近は、全文検索とベクトル検索の組み合わせを見ることが多く、その良いとこ取りをすることで検索性能を改善します。 ハイブリッド検索の有効性はいたるところで報告されていますが、「適当に全文検索とベクトル検索を組み合わせるだけで性能が上がるのか？」というとそれには疑問があります。ハイブリッド検索では、全文検索とベ…

AITC - ISID | AI トランスフォーメンションセンター コラム•5ヶ月前

Microsoft Ignite 2023: 「AI トランスフォーメーションと変革を推進するテクノロジ」はどんな感じだった？

Microsoft Ignite は、米国マイクロソフト本社主催の年次最大のテクニカル カンファレンスです。 2023年は、 [日本時間]11 月 16 日 (木) – 17 日 (金)に、「Experience AI transformation in action at Microsoft Ignite」をテーマに開催されました。 タイトルは直訳すると、「Microsoft Ignite で実際に AI 変革を体験してください」ということで、まさにAIのイベントでした。 「そのIgniteのAIイベントはどんな感じだった？」 に答える形で、 全体感を知りたい方向け もう少し詳しく知りたい方…

loserとして生きていく•6ヶ月前

自然言語処理で出てくる単語集

自然言語処理で出現する単語の解説を書いていきます NLP（Natural Language Processing） 自然言語処理のことかっこよく英語にした感じ 自然言語 人間がコミュニケーションで使用する言語のこと 自然言語以外の言語はプログラミング言語や人工言語など 形態素解析 入力された文を形態素まで分解する技術 形態素とは、何らかの意味を持つ最小限の文字の集まりのこと 形態素解析で使用するツール MeCab JUMAN ChaSen 係り受け解析 文の中の単語や語句の構文的な関係を特定することで、文法的な構造を理解し、文中の単語やフレーズがどのように相互に関連しているかを示す依存関係を特…