Hatena Blog Tags
はてなブログ トップ
GGUF
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

GGUF

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
uepon日々の備忘録•8ヶ月前

Ollamaで広がるローカルLLMの世界 - GGUF形式モデルのインポート方法

これまでOllamaを使用して比較的容易にローカルLLMモデルを使用することをやってきました。ここまで来ると未対応のLLMモデルを使用したくなってきます(よね😊)。 そこで、OllamaのREADMEファイルを読んでいったところ github.com Import GGUFという項目がありました。 GGUFとは LLMモデルをllamma.cppから使用できるようにしたバイナリ形式のファイルになります。現在はこのファイル形式で使用できる処理系も増えてきています。HuggingfaceでもGGUF形式のファイルが公開されていて、それをOllamaからロードしてすることができるようになります。デフ…

#ローカルLLM#GGUF

関連ブログ

ローカルLLM自由帳•1年前

llama.cpp量子化：重要度行列(Importance Matrix)計算に使うテキストについて

以前にも取り上げている件ですが、現在のllama.cppでは重要度行列(Importance Matrix)計算を利用することで量子化精度が改善できます。 特に4bit以下の低bit量子化を行う場合は、このiMatrix版の量子化が推奨されます（Metal環境などでは推論速度が遅くなるので要注意）。 Claude 3 Opusによると、重要度行列とは以下のように説明できます。 Importance Matrixは、言語モデルの量子化において、各パラメータの重要度を表現するために使用される行列のことを指します。 量子化の過程では、モデルの精度を維持しつつ、パラメータを低ビット幅の整数値で表現しま…

#LLM#llama.cpp#重要度行列#量子化#GGUF
ローカルLLM自由帳•1年前

llama.cppのGGUFフォーマットに関する資料メモ

1. GGUF（公式doc） github.com 2. プラットフォーム別GGUF対応表 github.com 3. どのGGUFを選べばいいですか？（再掲） GGUF quantizations overview · GitHub

#llama.cpp#メモ#GGUF#LLM
ローカルLLM自由帳•1年前

llama.cpp：量子化による出力劣化の調査事例

Redditに「LLMの量子化の影響を調べてみた」という投稿が上がっていました。 huggingface.co LLMの量子化では、最小で2bit近く（ファイルサイズ1/8程度）まで圧縮できますが、圧縮率を高めると出力の質が低下することが知られています。 ただ量子化による変質はperplexityという指標で測定されることが多く、perplexityをそのまま出力の質を表す値として捉えることには疑義があるようです（元のモデルとの誤差を表しているに過ぎない）。 この投稿では、GGUFフォーマットの多岐にわたる量子化モデルを、実際に同一のプロンプトでテストした結果がまとめられています。 投稿者の見…

#LLM#llama.cpp#GGUF#Mixtral