ベクトル空間モデルとは、文書を索引語の並んだ「文書ベクトル」として表現し、文書間の類似度をベクトル間の類似度で計算する情報検索アルゴリズム。
AIが取り扱う「言葉」に関連するリンクをいくつか眺めていたら、ある本に関するインタビュー記事を見つけた。 realsound.jp 言語学を扱った本としては異例のベストセラーとなっているが、これはChatGPTなどの対話型AIの進化に伴う、言語への関心の高まりが背景にありそうだ。 私もまさにそのような流れで辿り着いた。短いインタビューだが、読んでみたくなった。記事では、「記号接地問題」という聞き慣れない言葉が出てくる。 Ｑ１）記号接地問題とは 記号接地問題（Symbol Grounding Problem）は、人工知能（AI）や認知科学において、記号（シンボル）が具体的な意味や実体にどのように…
単語 文字Nグラムとは、長さNの部分文字列のこと。N=1はユニグラム、N=2はバイグラムという。文字Nグラムの頻度分布でテキスト中の良く使われている部分文字列を調べたり、隣り合う確率の高い文字を調べることができる。 Physonの形態素解析モジュールにはMeCab、janomeがある。形態素解析で品詞の推定もできる。 bag-of-words：形態素の多重集合で文書を表す。 特徴語：文書の中で内容を表す語のこと。 不要語（stop word）：どのような文書でも特徴語になりえない語。日本語の不要語リストにはSlothLibで提供されているものがある。 文書dの特徴語wの条件： ①wはdに高頻度…
Citadel AIのLLM回答評価ツール"LangCheck"を使ってみます。 はじめに LangCheckとは 基本的な使い方 評価メトリクスには何があるか 補足: 評価メトリクス判定に使われるモデル LangCheckで回答自動評価をやってみる 補足: semantic_similarity()でEmbeddingモデルを指定する おわりに 参考 はじめに LLMアプリケーションの開発では、そのLLM出力を評価する仕組みが重要です。 出力評価の仕組みなくしてLLMアプリケーション開発をすれば、チューニングの方針に迷うことになるでしょう。 OpenAIも、LLM出力を自動評価するプラクティ…
こんばんは。 本が読みたいけど首が痛いです。 RAGが作りたい ChatGPTなどのLLMを利用して何かを作っているとRAG（Retrieval-Augmented Generation）という仕組みが作りたくなってきます。 RAGとは簡単に説明すると外部のデータを使ってLLMに情報を与えるパターンです。 とてもシンプルなプロンプトだと「以下のデータを参考に質問に答えてください。 参考：{context} 質問：{question}」みたいな感じですね。その場合、基になる情報をどこかから引っ張ってくる必要があるのですが、RDBなどを使うと自然言語から条件にマッチする情報を取ってくるのはなかなか…
LLMの極めて高い表現力やAPI化&OSS化が進んで、昔ながらのNLPシステムにとってはおおよその個別タスクが解かれてしまったように思われているところがある。具体的にNLPシステムの設計や構成要素、役割がどのように変わったのか？さらにこれから変わっていくのだろうか？を、過去のシステムと対比する形で考えてみたい。 NLPモジュールの進化発展: 記号システムと機械学習システム 推論器としてのNLPのシステムの進化発展は、入出力データに対する「意味付け」「仮定」が弱まる方向に進化してきたといえる。人間が行なっている自由度の高い自然言語や対話プロトコルに従ったコミュニケーションを再現しようと、機械が意…
www.r.dl.itc.u-tokyo.ac.jp
chalow.net
ja.wikipedia.org
