コサイン類似度

自然言語処理（NLP）は、テキストデータを解析して意味や構造を理解するための技術です。文書間の類似度を計算することは、情報検索や文章分類などのタスクで重要な役割を果たします。本記事では、Pythonのライブラリであるgensimを使用して、文書間のコサイン類似度を計算する方法について解説します。具体的な例とコードを交えて説明します。 gensimとは gensimは、PythonのNLPライブラリで、トピックモデリングやベクトル空間モデルなどのNLPタスクを効果的にサポートします。特に、大規模なテキストコーパスに対応しており、多くの研究者や開発者に利用されています。gensimは、LDAなどの…

こんにちは、ぱそきいろです。以前、マイニングしたETHをなるべく出金手数料を少なくする方法を調べました。 www.takacpu55.xyz この中でETH→BTCを経由して楽天キャッシュにチャージするという方法でしたが、売り時をどうするかという問題があります。 つまり、ETHが上がって日本円（楽天キャッシュ）にしようとしてもBTCが下がっていたら結果的に損をするのでは無いかという気がします。 グラフを見たらおそらく（擬似）相関があるのだろうという気がしますが、勉強をかねて相関を出す方法を考えてみました。 データのDL データ前処理 相関係数 コサイン類似度 まとめ データのDL ここからデー…

ふと、桃太郎に似た昔話ってなんだろうと思いコサイン類似度を使って桃太郎に似た昔話を探してみました。今回は mecab にneologd 辞書を使ってます。 昔話の取得先 文章の類似度の計算 コサイン類似度 環境準備 類似度の算出 事前準備（追加インストール） mecab-python3 インストール neologd 辞書インストール 動作確認 昔話のファイル作成 桃太郎 浦島太郎 さるかに合戦 一寸法師 わらしべ長者 pythonスクリプト 実行結果 昔話の取得先 昔話は以下のサイトのものを使わせていただきました。 www.douwa-douyou.jp 文章の類似度の計算 コサイン類似度 コ…

はじめに アヤさん、たんじょーび、おめでとう！！ nikkieです。 みんなアイうた見ていて嬉しい限り♪ sentence-transformersというPythonのライブラリがあります。 こいつでembeddings（テキストの埋め込み表現）が計算できるらしく、気になったので触ってみました。 ※レベル感としては使い出しレベル、やってみた系です。 目次 はじめに 目次 動作環境 ドキュメントの例でembeddingsを計算（英語テキスト） 日本語テキストからembeddingsを計算 終わりに 動作環境 macOS 12.6.6 CPU環境です Python 3.10.9 sentence-…

BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好き…

はじめに 前回k-meansでBICを使うのはいいんじゃないか？という記事を書いたと思います。 tomtom58.hatenablog.com この記事に関していくつかの指摘をいただいたので、それならばk-means専用にカスタマイズした情報量を考えてみようという発想に至りました。ということで、今回はk-means専用のKIC(K-means Information Criterion)の考案に関して記事を書いていきたいと思います。なにぶん初学者のため、色々間違っている部分が出てくるかもしれませんがご了承ください。 k-meansの特殊性と従来の課題 まず、K-meansの持つ特殊性について整…

はじめに こんにちは。寒すぎて手袋をつけてキーボードが叩けるように成りたいと考えている釘宮です。 今回は、RAG を含めた AI ワークフローを実現する際の設計で 四苦八苦 したので、その時に考えていた事と試した事についてご紹介します。 本記事はオルターブース Advent Calendar 2024の14日目の記事です。 (14日の土曜日です) adventar.org RAG とは 人工知能（AI）の進化に伴い、Retrieval Augmented Generation (RAG) は、情報検索と自然言語生成を融合させた革新的な手法として注目を集めています。RAGは、大規模言語モデル（L…

こんにちは！エキサイト株式会社、SaaS・DX事業部エンジニアの岩田史門です！ エキサイトHDアドベントカレンダー14日目を担当させていただきます! はじめに RAG（Retrieval-Augmented Generation）は、外部データの情報を利用して、より正確で文脈に沿った応答を大規模言語モデル（LLM）に生成させる方法です！ 現在開発に携わっている、FanGrowthというプロダクトでも、「FanGrowth AI ウェビナー企画提案」という機能で活用しています！ www.fangrowth.biz この記事では、関連するキーワードとともに、RAGについて説明します！ はじめに R…

こんにちは！エキサイト株式会社、SaaS・DX事業部エンジニアの岩田史門です！ エキサイトHDアドベントカレンダー7日目を担当させていただきます! はじめに 自動音声認識 (ASR: Automatic Speech Recognition) と話者分離 (SD: Speaker Diarization) は、カスタマーサポート、自動議事録作成、音声インタフェースの改善など、さまざまな分野で活用されています。 現在開発に携わっている、FanGrowthというプロダクトでも、ウェビナーレポートという機能で活用しています！ www.fangrowth.biz 本記事では、OpenAIのWhispe…

ジェネラティブエージェンツの大嶋です。 「AIエージェントキャッチアップ #12 - Multi-Agent Orchestrator」という勉強会を開催しました。 generative-agents.connpass.com アーカイブ動画はこちらです。 youtube.com Multi-Agent Orchestrator 今回は、AWSが公開したマルチエージェントフレームワーク「Multi-Agent Orchestrator」について、公式ドキュメントを読んだり動かしたりしてみました。 Multi-Agent OrchestratorのGitHubリポジトリはこちらです。 githu…

本文がちょっとあるのでAIタイトルアシスト使ったよ！ 階層型クラスタリングとデッキの名前付け masaki.druby.work 2023年のRubyKaigiで話したけど、ポケカのデッキ検索のエンジンを使って、シティリーグのデッキの分析をするやつ作ってます。 （主にPCからの利用向けのGUIなのでスマホからの利用はちょっと不便） rubykaigi.org デッキの分類は完全にコサイン類似度とクラスタリングで自動で行っているので、たまに間違った（意図しない？）分類をしてしまいます。 （棒グラフの矩形をつつくと、その週のそのクラスタのデッキが表示されるよ） たとえば、大空洞型のリザードンがテラ…

今日は小ネタ。OpenAI の text-embedding-ada-002(以下 ada-002) と text-embedding-3-small/large(以下 3-small) はテキストを埋め込みベクトルに変換するモデルの代表格で、3-small は ada-002 より精度が高いと言われますが、埋込モデルの精度が高いってどういうことだろう、という話。埋め込みベクトル同士のコサイン類似度を計算することでテキストの意味の類似度がわかる、というのが埋め込みモデルの売り文句ですが、実際には意味だけではなく表現の近さもかなり反映されます。最も顕著な例は言語でしょう。別の言語だが同じ意味のテ…

5と8も間違えやすい。間違えて8のままスケジュールを立てたり、何か書くことが明らかに増えた気がする。なぜ間違えるのかは神のみぞ知る。 声優の無断生成AIはno moreという話 個人的な意見として他者のIPを無断で使うことは良くないと考えている。なぜならば、著作権侵害の刑事罰はひき逃げと同じぐらい重たい罪であることが1点、人様が作ったものをさも自分が作ったかのように見せるのは悪質性が高いのがもう1点、これを業として営利活動するのはより悪質性が高いのが最後の1点。 小市民である私は少なからず法治国家の人民として守るべきところは守らなくてはいけない。例えば自転車の二段階右折、一時停止。これらの積み…

TL;DR NTTドコモ R&Dチームはデータ分析のトップカンファレンスであるACM KDD主催のデータ分析コンペKDDCUP2024 に参加し、Open Academic Graph (OAG) Challenge部門のTask3 Paper Source Tracing(PST) コンペにおいて 8位に入賞しました。 PSTコンペは、論文引用関係のグラフデータを用いて、論文が引用している複数の引用論文を元論文に影響を与えた度合い順に並び替えるタスクになります。 ドコモチームの解法では2ステージモデルを採用し、SciBERTモデルと複数の2値分類モデルをスタッキングした手法を実装しました。手…

前回作成したモデルで実際に一週間トレーディングした結果を記録しようと思います。個人的にExcelにも記録はもちろんする予定ですがズボラでデータが散逸しやすいので逐次ブログの方にも載せていこうと思います。 プロダクト：日経平均先物CFD 運用期間：10/28 6:00～10/31 23:59(JST)、90時間（途中米ADPやPCE、失業率、日銀政策金利などもあったがバックテストではそれらを除外していない結果であったため今回も同様に放置） 損益率：▲84.43%、一時間当たり▲0.94%、負け額▲42216 取引回数：18回 内ロング6回 ショート12回 勝ち回数8回 負け回数10回 だらだら書…

たった２時間のゲームプレイで人間相当性能に到達可能なサンプル効率の高い強化学習手法 ”Bigger, Better, Faster”を実装します。 背景： 強化学習実用の課題は劣悪なサンプル効率 強化学習におけるサンプル効率向上アプローチ 評価指標： Atari-100Kベンチマーク ①リセット法によるリプレイ率の増大 ②環境シミュレータ（世界モデル）のデータ駆動構築 Bigger Better Faster: BBF (2023) 手法解説 SPR(2020) SR-SPR (2022) Bigger, Better, Faster (2023) Tensorflow2による実装 A. リセ…