自然言語処理

Risk-Reward Trade-offs in Rank Fusionを読んでいて、検索システムの結果を統合するために使える教師なしのランク融合アルゴリズムについて書きたくなったのでまとめました。最近では、RAGの性能を改善するためにハイブリッド検索が使われることがありますが、その内部で各検索システムの結果を統合するために使うことができます。実際に計算する方法と合わせて紹介します。 記事の構成は以下のとおりです。最初に、検索の文脈からランク融合アルゴリズムについて例を交えて紹介した後、実際に計算する方法を紹介します。 アルゴリズム CombSUM CombMNZ Borda RRF 実際に…

Rewrite-Retrieve-Readの論文[1]の構成で検索性能が改善するか試してみました。内容としては、RAGの内部で検索するときに、ユーザーのクエリを書き換えると性能が上がるという話です。ユーザーのクエリが検索に適しているとは限らないため、LLMで書き換えてから検索しようというアイデアになります。論文では、強化学習を使って書き換え用のモデルを学習する検証もしていますが、既存のLLMに書き換えさせても効果があるという結果になっています。 Rewrite-Retrieve-Readの構成。画像は[1]より。今回は真ん中の構成を採用。 本実験では、GPT-3.5 Turboを利用して、元の…

近年、大規模言語モデル（LLM）の進化は、自然言語処理の分野において画期的な変化をもたらしています。とくに、OpenAIのGPT-4のようなLLMは、その応用範囲の広さと精度の高さで注目を集めており、多くの研究者や開発者が新たな利用方法を模索しています。本記事では、これらのLLMを活用したマルチクエリ生成が、文書検索の性能向上にどの程度効果があるかを検証します。 文書検索は、入力されたクエリに関連する文書を返してくれます。しかし、ユーザーが入力する単一のクエリでは、常に最適な検索結果が得られるとは限りません。そこで、LLMを用いてクエリを複数生成し、それらを組み合わせることで検索結果を改善する…

こんにちは！今日は、私たちの生活に革命をもたらす 「ChatGPT」と「スマートホームテクノロジー」について お話ししましょう。 最近、AI技術は目覚ましい進化を遂げていますが その中でもChatGPTは特に注目に値します。 では、なぜChatGPTがスマートホームと相性が良いのでしょうか？ ChatGPTって何？ ChatGPTは、OpenAIによって開発された会話型AIです。 自然言語処理（NLP）技術を駆使し ユーザーとの対話を通じて情報提供や質問への回答 さらには文章作成までこなすことができます。 これが家庭にどのように応用されるかというと 想像以上に多彩なシーンで役立つんです。 スマ…

ChatGPTやGPT-4をはじめとする大規模言語モデルの能力が向上し、多くの注目を集めています。とくにRAG（Retrieval Augmented Generation）と呼ばれる手法を使って、手元のデータを生成時に活用する手法がよく使われていますが、その性能を改善する方法は様々あります。その中でも、この記事ではRAG内部の検索性能を改善するためのクエリ変換に着目し、HyDEと呼ばれる手法の効果を日本語の検索用データセットを使って検証した結果を示します。 記事の構成は以下のとおりです。 HyDEとは 実験設定 実験結果 実装の詳細 参考資料

本記事では、LangChain Templates[1]を利用し、RAGを簡単かつ迅速に構築する方法を紹介します。LangChainはLLMを使ったアプリケーションを実装するためのツールですが、LangChain Templatesを活用することで、煩雑なプロセスを大幅に簡略化できます。本記事では、LangChain Templatesの基本から、実際のRAGの実装までをステップバイステップでガイドします。 以降では、以下の内容について説明します。 LangChain Templatesとは RAGの構築 環境のセットアップ RAGの実装 RAGの動作確認 おまけ：研究アシスタントの構築 研究…

OpenAIのGPTsの発表で盛り上がっている今日この頃。思い立って、開発が続いていて楽しみなOpen Interpreterをlocal LLMで動かせないかとトライしてみました。Open-interpreterを見ると、Local LLMの動作にLM Studioを推奨していました。ただ、このあたりの組み合わせは、開発が進むに従って変更されているので注意です。 github.com プログラムの性格上、Docker内で動かしたくて、Karaageさんのレポジトリを参考にしつつDockerで動かせるようにしました。 github.com 特に大したことはないのだけれども、1. LM Stud…

Bing Image Creatorによって作成 ：蓑輪博之 抵抗素子及びその回路 オームの法則 合成抵抗 RLC回路 抵抗及び交流 電流の微分表示 抵抗の交流における指數関數表示 フェザー表示 抵抗素子のラプラㇲ変換 問題 テブナンの定理 簡易な条件下におけるテブナンの定理の導出 テブナンの定理を使った例 テブナンの定理の発展例 線分演算を使った簡略単位計算 時間の単位 物理単位 オームの法則 電気抵抗率 導電率 抵抗温度係數 電力及び電力量 電位差 電界 電束密度 靜電容量 真空の遊電率 靜電エネルギー コイル内の磁界 磁束密度 Faradayの法則 ローレンッ力 磁界及び磁気力 電流が磁…

デジタルマーケティングの未来は、人工知能（AI）とデータ駆動の広告戦略によって塗り替えられつつあります。これらの新潮流が企業の広告キャンペーンにもたらす変革に焦点を当てます。 1. AIによる広告のパーソナライズ：AIは大量のデータを分析し、ユーザーの嗜好や行動パターンを理解する能力に優れています。これにより、広告は個々のユーザーに合わせてパーソナライズされ、ターゲットの興味を引きやすくなります。 2. データドリブンな意思決定：データ駆動の広告戦略では、実績データやユーザー行動データを分析し、意思決定を裏付けます。広告予算の最適化やキャンペーンの効果測定など、データを活用した戦略的なアプロー…

はじめに Amazon Qとは VSCodeでAmazon QにChatする セットアップ 質問してみる 余談：Chatでエラー発生 Javaコードのバージョンアップ（未検証） まとめ はじめに こんにちは、高橋です。 先日AWS re:Invent2023に行ってきました。 Keynoteで発表されたAmazon Qについて、VSCodeで使ってみた感想を簡単にまとめようと思います。 Amazon Qとは Amazon QはAmazonによって開発された生成型AIアシスタントです。このツールは、特にAWS（Amazon Web Services）のエコシステム内で開発者やIT専門家を支援する…

この記事は クラウドワークス Advent Calendar 2023 シリーズ2 の 7日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 2023年は生成AI、特にLLM（大規模言語モデル）が盛り上がりを見せた年でした。皆さんもChatGPTやGitHub Copilotなどにより、その恩恵にあずかった1年だったかと思います。 自分も流行りに乗り、OpenAIのAPIを使用してチャットボットを作りましたが、うまくいかなかったためお蔵入りしました。 今回はその供養のため、どのようなことをやったかを書き残そうかと思います。

市場スナップショット チャットボット市場規模とシェアは、2022年に50億米ドルの市場価値から、2035年までに280億米ドルに達すると推定され、2023－2035年の予測期間中に25％のCAGRで成長すると予想されています。 市場概況 チャットボットは、クライアントの問い合わせを理解し、人間のコミュニケーションを再現して応答を生成するコンピューター プログラムです。人間のような対話の自動化は、人工知能と自然言語処理の使用によって行われます。チャットボットの採用の増加と、人工知能などの高度なテクノロジーの使用の増加は、チャットボット市場シェアの成長につながる主な要因です。2019 年以来、ブラ…

Jupyter for JavaというのがInfoQで紹介されていたので試してみました。 Java News Roundup: JDK 22, Spring CVEs, Liberica JDK, JDKMon 21, Jupyter for Java, Gradle 8.5 Jupyter notebookでJavaを使うためのいろいろをまとめたGitHub organizationらしい。 https://github.com/jupyter-java やってみたのがこれ。 ということでGoogle colabでJavaを使う手順 pic.twitter.com/afn4dbDyT9— き…

こんにちはのろのろでございます。こちらは、会計系Advent Calendarの12月6日分として書いています。記事の内容は監査におけるデータサイエンスの応用研究を調査し、実務的な応用を考えながらまとめたものです。いろいろ手を出しすぎて発散しております。 1 監査データサイエンス デジタル化が進展し、企業データは財務報告と切り離せない存在になりつつあります。会計監査ではデータサイエンスの手法を応用できる場面が増えてきています。 図1 会計分野におけるデータマイニング研究。括弧内の数値は文献数です。（出典: Amani and Fadlalla. International Journal of…

マスメディアとは何か 「影響力」の正体 (中公新書) 作者:稲増一憲 中央公論新社 Amazon マスメディアを研究する分野といってもさまざまにあるだろうが、本書の内容は「マスメディアが人々にもたらす影響をデータを用いて科学的に検証する研究分野」である「メディア効果論」に立脚しており、「取材方法などに関する情報の送り手についての議論ではなく、視聴者などの受け手に対する影響」に関する議論がメインとなっている（p.v）。 そして本書のもうひとつの特徴は、マスメディアを擁護したり肯定したりする議論がたびたび登場すること。市井の人々がマスメディアに対して抱いているさまざまなイメージ……「偏っている」「…

データエンジニアだったりデータアナリストだったりします。 @kazasiki です。 データ分析でわりと使うのにいまいち知名度が低そうなデータ構造に、疎行列(Sparse Matrix)もしくは疎配列(Sparse Array)というのがあります。名前だけは知っているという人も多いのではないでしょうか？ この記事では、疎行列の概念と構造を簡単に紹介しつつ、Pythonのデータ分析系のライブラリでどんな感じで使われてるかを書いていきます。実際にどのくらい性能が上がるのかとか、サンプルコードとかは割愛するので、そのあたりは別の記事を参照していただければ幸いです。 疎行列とは wikipediaの説…

特化型モデルで識別・ピクセル重要度抽出した後に、GPTで自然言語に変換する 画像認識モデルを作ったら、そのモデル自体から"こういうオブジェクトがあるから私はこう認識したんだよ"と教えてほしくありませんか？ 今回作るのは、図のように、写真が東京都中央区で撮られているとわかるのは、"照明と配管"が特徴的で、"箱やパッケージが多い"から市場らしさがあるんだよ、と自分で説明してくれるAIです。 背景ですが、機械学習が、それを本業とする人以外にも幅広く使われるようになってくるのに伴い、モデルの説明可能性も重要視されているように思います。 テーブルデータからの識別問題であれば重要な項目を特徴重要度などから…

こんばんは。 本日はアマゾンの人工知能製品を発表した背景をAIに解説していただきました。 以下AI作成 アマゾンが企業向けに新たな人工知能「Q」を発表した背景 アマゾンは、2023年11月28日に、企業向けの対話型人工知能（AI）製品「Amazon Q」を発表しました。Amazon Qは、自然言語処理や画像認識などのAI技術を組み合わせて、対話型のAIアシスタントを提供するというものです。Amazon Qは、市場で圧倒的なシェアを誇るアマゾンのクラウドプラットフォーム「AWS」の一部として利用できるようになります。ターゲットとなるユーザーは、プログラマーやIT管理者、ビジネスアナリストなど、仕…

今やインターネットは私たちの生活に欠かせない存在となっています。 情報を探すために検索エンジンを使うことは日常の一部となりました。 しかし、単純なキーワード検索だけでは、 時には必要な情報が見つからないこともあります。 そこで、画像検索を身に付けることで、 より高度な検索スキルを獲得することができます。 画像検索の基本 画像検索は、キーワードではなく画像を使って情報を探す方法です。 例えば、特定の動物の写真を探したい場合、その動物の名前を入力するだけでなく、 その動物の画像を検索エンジンに提供することで、 より具体的な結果を得ることができます。 また、画像検索では、色やサイズ、形状などの特定の…