Mistral 7B

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

ローカルLLM自由帳•1年前

MergeKitによるMoEマージだけで日本語性能は上がるか？

前回の記事で、「LightChatAssistant 2x7B」が日本語チャットモデルのベンチマークでもかなり高いスコアを示すことを確認しました（スコア上はCohereの「Command-R 35B」に近い水準です）。体感的にもベンチマーク的にも優れた日本語チャットモデルで、サイズが小さいことも考えるととても魅力的です。 sc-bakushu.hatenablog.com 作者さんがモデルカードで説明されている制作プロセスを読むと、単純に「ChatNTQ 7B」と「Antler-7B」をMoEマージする前に、ChatVectorという手法により各モデルに微調整を施しているようです。となると…

#LLM#Mistral 7B#MoE#llama.cpp

ネットで話題

19ブックマーク Mistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功した｜shi3z

note.com

18ブックマーク本当にオープンソースのライセンスで利用＆検証できる大規模言語モデル「Mistral 7B」が登場、「Llama 2 13B」や「Llama 1 34B」を上回る性能のAI開発が可能

gigazine.net

6ブックマークファインチューニング向けモデル「Mistral 7B Fine-Tune Optimized」が登場、特定タスクにおいてGPT-4を超える性能を発揮

gigazine.net

6ブックマーク Mistral 7B | Mistral AI

mistral.ai

関連ブログ

ローカルLLM自由帳•1年前

Mistral 7Bベースの日本語チャットモデル ChatNTQ-JA-7B を試す

「chatntq_chatvector-MoE-Antler_chatvector-2x7Bchatntq_chatvector-MoE-Antler_chatvector-2x7B」という呪文のような日本語MoEモデルが話題になっていました。 https://t.co/tmcIFgrObQ2x7Bの日本語チャット・ノベル専用高性能モデル。Antler-7Bとchatntq-ja-7b-v1.0という、Japanese Stable LM Base Gamma 7B（Mistral 7Bベース）をinstructionチューニングしたモデルを各々ChatVector法で強化し、MoEでマージし…

#LLM#Mistral 7B#NTQAI