データインテリジェンスチームの畑です。 今回のブログテーマは「AWSのBedrockとKendraを使ってRAGの仕組み作ってみた！～Terraform版～」です。以前のブログでMicrosoft Azure(以下Azure)のPromptflowを使ったRAG(※1)の作り方をご紹介しました。同じことをAmazon Web Services(以下AWS)でもやってみます。コンソール上での作成は色々なブログで紹介されているのでTerraformを使った作成に主眼をおいてご紹介します。AzureのPromptflowを使ったRAGの作り方についてはこちらの記事をご覧ください。 kdl-di.ha…

先日、Anthropic が発表したクローズドの大規模言語モデル Claude 3 (Opus) が、本当にGPT-4 超えの性能かも、と話題になっています。 Chatbot Arena Leaderboard の直近集計では、冒頭の表のとおり GPT-4 Turbo の後塵を拝しているものの、柔軟で積極的な対話スタイルに仕上がっていて、LLMコミュニティでは総じてGPT-4よりも高く評価されているようです。 コーディングや日本語性能など GPT-4 が圧倒的に強かった領域でも高い性能が確認されていて（一時的なものにせよ）OpenAI 一強の状態にいったん終止符が打たれた感があります。 ノルウ…

「ファインチューニングか検索(Retrieval)か？LLMにおける知識追加手法の比較」というarXiv論文が上がっていました。執筆者はMicrosoft Israelの研究グループです。 arxiv.org 先日、Microsoft の別のグループが「RAG vs ファインチューニング：パイプライン、トレードオフ」という類似したテーマのarXiv論文を上げていて、それについては以下の投稿でメモしています。 sc-bakushu.hatenablog.com どちらの論文も、専門領域における知識追加の方法としてファインチューン（微調整）とRAGを比較検討したもので、共通して「微調整にも効果は認…

こんにちは。電通総研 金融ソリューション事業部の若本です。 今回は、RAG内部で使用するベクトル検索の設定のチューニングについての記事になります。 RAGとは ベクトル検索になぜチューニングが必要なのか？ 近似近傍探索 実験 検索対象 検索クエリ 評価方法 結果 おわりに RAGとは RAG（Retrieval-Augmented Generation）は、ユーザーのクエリに対して外部の知識を検索し、それをもとにChatGPTのような大規模言語モデル（LLM: Large Language Model）に回答を生成させる手法になります。 具体的な方法は山下さんの記事でも紹介されていますので、興…

Retrieval-Augmented Generation周辺のテクニックについて調べたのでまとめてみます。 こんにちは、CCCMKホールディングスTECH LABの三浦です。 今週のお題「急に休みになったら」。はてなブログの今週のお題ですが、私は急に休みになったら電車に乗って行ったことがない場所に行ってみたいです。特に普段乗っている電車の終点の駅には行ったことがないので、のんびり電車に揺られながら、どんな街なのか見に行ってみたいです。 さて、現在Large Language Models(LLMs)の活用方法でよく取り上げられるのがRetrieval-Augmented Generatio…

2024/1/16にMicrosoftから「RAG vs ファインチューニング：パイプライン、トレードオフ、農業におけるケーススタディ」というarxiv論文が出てました。 特定領域に固有の知識（この論文では農業関連データ）をLLMアプリケーションの回答に取り入れる手法として、RAGと微調整を比較検討した研究のようです。 arxiv.org 概要（機械翻訳） 大規模言語モデル（LLM）のアプリケーションを構築する際、開発者が独自のデータやドメイン固有のデータを取り入れる一般的な方法が2つある： それは、RAG（Retrieval-Augmented Generation）と微調整（Fine-Tu…

タイトル通りですが、LlamaIndexのバージョン更新が早くて2024年1月時点の最新バージョンでの日本語記事がなかなか見つからなかったので、公式ドキュメントを参考に実装した内容をこちらに載せようと思います。 簡単な用語説明 実行環境 実装 参考 簡単な用語説明 LlamaIndex: LLMアプリの構築を支援するデータフレームワークです。今回はRAG(後述)を実装するために使用しています github.com Azure OpenAI: 正式名称はAzure OpenAI Serviceで、OpenAIのモデルをAzureを通して利用できるサービスです。OpenAIのLLMをpythonで…

ecbeingの太田です。 先日、当社の代表としてASCII社さん×マイクロソフト社さん主催の生成AIコンテスト「AI Challenge Day」に参加してきました！ 今回はそのコンテストに参加してきたレポートを赤裸々にお届けしようと思います。

こんにちは、AIソリューショングループの太田です。 この記事ではLLMを用いた自律型エージェントの研究動向をご紹介します。 研究動向は、AI系で難関な国際会議ICLR2024と同時開催のICLR2024 LLMエージェントワークショップの論文を中心にまとめました。 llmagents.github.io 企業の皆様も学生の皆さんもぜひ、最先端の技術を知ってもらい業務で活かせないか考えてみてください。（協力が必要な場合は、AITCにもご相談いただければと思います） その前に電通総研AITCがなぜ今回技術動向を調査したのかなどその辺りを紹介します。 なぜ技術動向を調査するの？ 論文を執筆・発表する…

プロダクトエンジニアリング部の二宮です。 次のプレスリリースにある通り、LIFULLでは生成AIを使って20,000時間以上の業務時間削減をしたという大きな成果を上げることができました。数字の根拠が粗い試算ではあるものの、実は社内では1年間で20,000時間の削減を目標としていたため、その半分の期間で目標達成できて関係者が色めき立っています。 lifull.com 私はkeelaiという社内用AIのプロジェクトに開発者の一人として関わっていて、生成AIツールの活用を推進する有志のプロジェクト（タスクフォースチーム）にもメンバーの一人として携わっています。そのため、エンジニアの中でもある程度全体…

こんにちは！ 技術部機械学習グループの山口 (@altescy) です。 先月、神戸にて開催された言語処理学会第30回年次大会 (NLP2024)に同じく機械学習グループの深澤 (@fufufukakaka)と共に参加してきました。 昨年に引き続き今年も過去最多の参加者数となり、言語処理研究の盛り上がりを実感しました。 特に去年の年次大会 (NLP2023) のタイミングで GPT-4 が発表されて以降、自然言語処理の研究は大きな転換期を迎えていると感じます。 大規模言語モデル (LLM) が研究の主流となる中、どんな課題や発見があるのか、期待をもって参加する大会となりました。 この記事では …

エンジニアのみっつーです！ 先週末に、Global Azure 2024 in Fukuokaに登壇させていただきました。 jazug.connpass.com 登壇内容紹介 私が今回お題にしたのはKernel MemoryというOSSです。 Kernel Memoryは、様々なデータソースからインデックス作成することに特化したマルチモーダルAIサービスで、例えば話題のAzure OpenAI Serviceを使ってこれまた話題のRAGアーキテクチャ実現のために様々なデータソースとの繋ぎ込みを行ってくれるようなサービスです。 github.com ざっくりポイントは下記の通りです。 Kerne…

Security Incidents毎日のように発生する事案について、新たに公表された事案をタイトルに示し、サイトに掲載されるお知らせへのリンクと事案の概要を月単位にまとめて示します。 ランキング参加中インターネット 本日追加→ 不正アクセス エンドレス 4月23日 弊社サーバーのマルウェア感染に関する お詫びとお知らせ 原因 FortiGate設置時のテスト用アカウント放置により侵入されサーバーがランサムウェア感染（設置委託先：スターティア） 被害 （調査中）本日追加→ 不正アクセス（続報） HOYA 4月23日 当社グループにおけるシステム障害について（続報） 原因 グループのサーバーへの…

居住地はずっと雨。 こんな時に思い出す作品がありまして。 それが 谷川史子先生の『他人暮らし』 です。 他人暮らし (クイーンズコミックスDIGITAL) 作者:谷川史子 集英社 Amazon バツイチ・独身・新婚の3人の女友達がひょんなことから一カ月間突如ルームシェア(？)をすると言ったような短編でこちらがメインストーリーなのですが、 今回紹介したいのは読切の秋雨というお話です。 (他人暮らしも素敵な作品なのでご興味ある方はぜひ…！) ネタバレには気をつけつつですが、早速。 ある日、主人公の夢の中に事故がきっかけで亡くなった同僚が現れます。 同僚は生粋の雨男で、その後も度々雨の日には主人公の…

検知日時: 2024-04-24 13:55:18 目次 定価以下定価500円までのプレ値結構プレ値差額不明/売り切れ ガンプラ以外も含めたセール会場全体は→リンク先各会場から定価以下 1/60 PG ZGMF-X20A ストライクフリーダムガンダム セール価格：22600円 定価：27500円 定価差額：-4900円 市場価格差額：1700円 駿河屋 1/60 PG MBF-P02 ガンダムアストレイ レッドフレーム セール価格：16980円 定価：19800円 定価差額：-2820円 市場価格差額：価格情報無し 駿河屋 1/60 PG MBF-02 ストライクルージュ+スカイグラスパー セ…

はじめに サリーちゃん😭 nikkieです。 VS Code Conference Japan 2024に参加しました1。 GitHub Copilotについてのパネルディスカッションを聞いて、「Copilotを使っていかなきゃ！」と思い立ち、一本書きます。 目次 はじめに 目次 GitHub Copilot活用、現場の声（経験者）パネルディスカッション！ 内容紹介 アーカイブ情報 挙がった資料を確認 サイバーエージェントのGitHub Copilot導入と 開発生産性 GitHub Copilotでできること一挙ご紹介 次に読みたい「GitHub Copilot Patterns & Exe…

読みました。 JLPT N2 動詞 日本語能力試験 Japanese verbs 1 youtu.be ヨッレヨレ(笑)なイラストは、途中で力尽きまして、あいすみません。 Playlists Nouns 名詞 https://www.youtube.com/watch?v=-n0r4zUaB3o&list=PLbwU3x_W6RxSA4FjzKDTUqv_2yVtBGIR4 形容詞 副詞 動詞 https://www.youtube.com/watch?v=NYpeE3ZuBLI&list=PLbwU3x_W6RxTgbeVdEKEXdBkKA7iZGgjR かじる bite into うさぎ…

こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張…