https://github.com/ggerganov/llama.cpp/pull/5747 llama.cpp では最近、ikawrakow氏による量子化手法のアップデートが熱心に行われています。 新しい量子化の実装が重なり個人的に分かりづらくなってきたので、簡単に整理しておこうと思います。 quantize.cppのオプションを参照すると、現在(2024.02)のGGUFバリエーションは以下のとおりです。 github.com 非量子化GGUF:"F32", "F16"。量子化していない巨大なGGUF。 旧量子化GGUF:"Q4_0"、"Q4_1"、"Q5_0"、"Q5_1"、"Q8_…