本ページでは、ParlAI の TeacherAgent について簡単に説明する。 実際に新たなタスクを定義する場合は、本ページの記述内容では十分でない場合があるのでドキュメントやソースコードを参照されたい。 公式ドキュメント Github また ParlAI に関連する記事については以下を参照されたい。 ParlAI を理解した気持ちになる ParlAI の World について (TBA) ParlAI の TeacherAgent について ParlAI の StudentAgent について (TBA) ParlAI の dictionary (vocabulary) について Par…
ChatGPTをはじめとする、AIチャット。この背景にあるのがLLMで、日本語では、大規模言語モデルと呼ばれています。どのような仕組みで、テキストの意味を理解して、テキストを生成しているのか。LLMに関する用語を中心に解説します。 LLMとNLP(自然言語処理)の関係 人間が使う言語をコンピュータに理解させるための技術として「NLP(自然言語処理)」があります。 たとえば、日本語や英語などで書かれた文章が与えられたとき、その質問に答えたり、翻訳したり、要約したりすることが該当します。これらの処理をするためには、与えられた文章の文法的な構文を把握しなければなりません。 英語であれば、スペースで区…
こんにちは。Algomatic の宮脇(@catshun_)です。 本記事では文書検索において一部注目された BGE M3-Embedding について簡単に紹介します。 Chen+'24 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
最初のGPT論文"Improving Language Understanding by Generative Pre-Training" の要約メモです。 はじめに Improving Language Understanding by Generative Pre-Training 概要 手法 結果 Natural Language Inferenceタスク Question answering / commonsense reasoningタスク Semantic Similarity / 分類タスク 分析 おわりに/所感 参考 はじめに 今回まとめる論文はこちら: Improving …
Sakana.aiの進化的モデルマージを記述した論文"Evolutionary Optimization of Model Merging Recipes" の論文要約メモです。 はじめに Evolutionary Optimization of Model Merging Recipes 概要 手法 結果 LLMタスク VLMタスク おわりに/所感 参考 はじめに 今回まとめる論文はこちら: arxiv.org 2024/03/19 公開 By Sakana AIのチーム コード: GitHub - SakanaAI/evolutionary-model-merge: Official re…
書籍「機械学習エンジニアのためのTransformers」を読んだので内容をまとめる。 以下の内容は、ほとんどClaude3 Opusを使用して作成している。 第1章 入門Transformers いる。さらに、Transformer系モデルのGPTとBERTが紹介され、自然言語処理の分類、固有表現認識、質問応答などのタスクにおいて、TransformersライブラリがTransformerモデルを簡単に適用できることが示されている。最後にはHugging Faceのエコシステムが概観されている。 重要なポイント Transformerはエンコーダ・デコーダのフレームワーク、アテンション機構、…
Multi-Agent Conversationの様々なAgent構成について調べてまとめました。 こんにちは、CCCMKホールディングス TECH LABの三浦です。 卒園式や卒業式のシーズンです。この時期になると自分が大学を卒業して新社会人になった時のことを思い出したりします。当時は"クラウド"という概念が出始めたころで、サーバーを自分の知らない場所において利用するなんて全然イメージが湧いてなかったのですが、今はそれが当たり前のようになりました。振り返るとあっという間に感じますが、世の中は当時から色々大きく変わったんだな、と感じます。 前回LLMを活用するテクニック"Multi-Agent…