ベクトル空間モデルとは、文書を索引語の並んだ「文書ベクトル」として表現し、文書間の類似度をベクトル間の類似度で計算する情報検索アルゴリズム。
単語 文字Nグラムとは、長さNの部分文字列のこと。N=1はユニグラム、N=2はバイグラムという。文字Nグラムの頻度分布でテキスト中の良く使われている部分文字列を調べたり、隣り合う確率の高い文字を調べることができる。 Physonの形態素解析モジュールにはMeCab、janomeがある。形態素解析で品詞の推定もできる。 bag-of-words：形態素の多重集合で文書を表す。 特徴語：文書の中で内容を表す語のこと。 不要語（stop word）：どのような文書でも特徴語になりえない語。日本語の不要語リストにはSlothLibで提供されているものがある。 文書dの特徴語wの条件： ①wはdに高頻度…
Citadel AIのLLM回答評価ツール"LangCheck"を使ってみます。 はじめに LangCheckとは 基本的な使い方 評価メトリクスには何があるか 補足: 評価メトリクス判定に使われるモデル LangCheckで回答自動評価をやってみる 補足: semantic_similarity()でEmbeddingモデルを指定する おわりに 参考 はじめに LLMアプリケーションの開発では、そのLLM出力を評価する仕組みが重要です。 出力評価の仕組みなくしてLLMアプリケーション開発をすれば、チューニングの方針に迷うことになるでしょう。 OpenAIも、LLM出力を自動評価するプラクティ…
こんばんは。 本が読みたいけど首が痛いです。 RAGが作りたい ChatGPTなどのLLMを利用して何かを作っているとRAG（Retrieval-Augmented Generation）という仕組みが作りたくなってきます。 RAGとは簡単に説明すると外部のデータを使ってLLMに情報を与えるパターンです。 とてもシンプルなプロンプトだと「以下のデータを参考に質問に答えてください。 参考：{context} 質問：{question}」みたいな感じですね。その場合、基になる情報をどこかから引っ張ってくる必要があるのですが、RDBなどを使うと自然言語から条件にマッチする情報を取ってくるのはなかなか…
LLMの極めて高い表現力やAPI化&OSS化が進んで、昔ながらのNLPシステムにとってはおおよその個別タスクが解かれてしまったように思われているところがある。具体的にNLPシステムの設計や構成要素、役割がどのように変わったのか？さらにこれから変わっていくのだろうか？を、過去のシステムと対比する形で考えてみたい。 NLPモジュールの進化発展: 記号システムと機械学習システム 推論器としてのNLPのシステムの進化発展は、入出力データに対する「意味付け」「仮定」が弱まる方向に進化してきたといえる。人間が行なっている自由度の高い自然言語や対話プロトコルに従ったコミュニケーションを再現しようと、機械が意…
ベクトル空間 自然言語処理のベクトル空間モデルは、テキスト文書をベクトル空間上の数値ベクトルとして表現する手法です。このモデルは、テキストデータを処理し、文章間の類似性や関連性を計算することができます。 文章をベクトルで表す ベクトル空間モデルでは、各文書が一意の数値ベクトルで表されます。一般的な手法としては、単語の出現頻度や単語の重要度に基づいてベクトルを作成する方法があります。具体的には、文書内の各単語を次元として扱い、その単語の出現頻度や重要度を値としてベクトルの要素に割り当てます。 ベクトル化の手法 ここでは次の4つの方法を紹介します。 One-hot Bag of Words Bag…
Retrieval Augmentation Reduces Hallucination in Conversation aclanthology.org Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. 2021. Retrieval Augmentation Reduces Hallucination in Conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pages 3784…
自然言語処理（NLP）は、テキストデータを解析して意味や構造を理解するための技術です。文書間の類似度を計算することは、情報検索や文章分類などのタスクで重要な役割を果たします。本記事では、Pythonのライブラリであるgensimを使用して、文書間のコサイン類似度を計算する方法について解説します。具体的な例とコードを交えて説明します。 gensimとは gensimは、PythonのNLPライブラリで、トピックモデリングやベクトル空間モデルなどのNLPタスクを効果的にサポートします。特に、大規模なテキストコーパスに対応しており、多くの研究者や開発者に利用されています。gensimは、LDAなどの…
www.r.dl.itc.u-tokyo.ac.jp
chalow.net
ja.wikipedia.org
