sentence-transformers

はじめに 「でも、私は天海春香だから。」 nikkieです。 LLM・LangChain関係の素振りですが、今回は自分の趣味嗜好に振り切ります。 文脈をプロンプトに含めて、LLMさんとアニメについておしゃべりするぞ〜！💪💪💪 目次 はじめに 目次 やりたいこと「文脈をプロンプトに含めたおしゃべり」と、現在地 準備はすべて整っていたのです！ 差分はRetrieval QA chainを導入するだけ 💡素振りに使ったテキスト、アニメ関連のものにすればいいのでは？ 劇場版『THE IDOLM@STER MOVIE 輝きの向こう側へ！』 ムビマスを知っている風ChatGPTとおしゃべり 対話例 動作環…

はじめに 7月はナイスなstapyです。みんな来てね！ nikkieです。 StudyCoさんの勉強会アーカイブを機に、LangChainを使って文脈をプロンプトに含めてLLM（ChatGPT）に問い合わせるコードを動かしました。 この理解を深めるべく、「文脈をプロンプトに含める」の要素に注目して素振りします。 目次 はじめに 目次 文脈をプロンプトに含める仕組み LangChainのData connectionの言葉では LangChainのChromaの例を動かす 動作環境 embeddingsを計算し、Chromaに保存する ディスクから読み込み、似ている文を検索する 寄り道：stat…

はじめに ジャングルパーティー！！ 異次元フェス、行ってきました、nikkieです🙌 E5はtransformersから触ってもいいのですが、sentence-transformersからだと（特定のニーズを満たすコードは）数行で書けるということを見ていきます。 目次 はじめに 目次 multilingual-e5のUsage sentence-transformersなら数行でできるよ 同じembeddingsが得られていることの検証 なぜ同じになるのか？ 終わりに multilingual-e5のUsage 文の埋め込み表現（embeddings）を得る手法の1つに、E5というモデルがあり…

はじめに アヤさん、たんじょーび、おめでとう！！ nikkieです。 みんなアイうた見ていて嬉しい限り♪ sentence-transformersというPythonのライブラリがあります。 こいつでembeddings（テキストの埋め込み表現）が計算できるらしく、気になったので触ってみました。 ※レベル感としては使い出しレベル、やってみた系です。 目次 はじめに 目次 動作環境 ドキュメントの例でembeddingsを計算（英語テキスト） 日本語テキストからembeddingsを計算 終わりに 動作環境 macOS 12.6.6 CPU環境です Python 3.10.9 sentence-…