量子化

以前Llama-3モデルが公開されたときに「Llama-2よりも量子化で劣化しやすくないか？」という指摘があり、それに対して「学習量（学習トークン数）が大きく増えたので、モデルの冗長性が低下して量子化の影響を受けやすくなったのではないか」という議論がなされていた記憶があります。 あるいは、量子化とは別のモデル効率化手法である枝刈り（Pruning）においても、大型モデルのほうが小型モデルより（モデルの冗長性が高いので）性能の劣化が緩い、ということが経験的に知られていると思います。 このようなモデルの学習時トークン数やパラメータ数と、学習時/学習後の量子化による推論精度の変化について定式化を試み…

はじめに テスト環境と条件 検証用プロンプト EC2インスタンスタイプの説明 補足 パフォーマンス計測方法 APIリクエスト APIパラメータ補足 パフォーマンス計測結果 結論 おまけ お知らせ はじめに こんにちは、CTOの大柿です。 ローカルLLMとして高額なGPUがなくとも動作するLLMや量子化したLLMが数多く公開されてきており、実際どれが使えるのか、どの程度のコストが必要なのかという疑問がわきます。今回ローカルLLMをAWS EC2で実行するための最低限なインスタンスタイプを比較・検証してみます。ローカルLLMの利用は、コスト削減やデータプライバシーの観点から非常に魅力的です。しかし…

量子化の3回目です！ Googleが2017年12月にarXivに登録した論文の「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」の続きで、今回は 3章の予定でしたが、2章に関係が深い Appendix を先に読んでいきます。

今回もAIの量子化について学んでいきます。GoogleのQAT量子化の論文 に出てくる gemmlowp ライブラリ について見ていきます。 前回は、gemmlowp の サンプルコード（doc/quantization_example.cc）を実行しました。長い実行ログが出力されて、その内容は量子化計算のチュートリアルのようになっていたので、その説明をしました。 今回は、実行結果のログだけでは十分に理解できなかった部分を、デバッガを使って、実行結果とソースコードを見ながら、理解を深めていきます。 それでは、やっていきます！

「量子化の論文を読む」の2回目です！ Googleが2017年12月にarXivに登録した論文の「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」の続きで、今回は2章を読んでいきます。

今回もAIの量子化について学んでいきます。論文を読むことは継続しつつ、今回は、実際に量子化モデルを動かして、推論の高速化を実感したいと思います。 前回（TensorFlow Lite Pythonで量子化モデルをRaspberry Pi 4で動かす - daisukeの技術ブログ）は、Python の tflite-runtime をインストールして実行しましたが、今回は、C++でやっていきます。手順通りにやれば、必ず同じことが出来るように、環境構築、ビルド、実行の手順を書いていきます。 それでは、やっていきます！

今回もAIの量子化について学んでいきます。論文を読むことは継続しつつ、今回は、実際に量子化モデルを動かして、推論の高速化を実感したいと思います。 まずは、VirtualBox の Ubuntu 22.04 で動かしていきますが、TensorFlow Lite は、ARM CPU に最適化されていると思うので、性能が出ないかもしれません。その後、Raspberry Pi 4（Raspberry Pi OS）でも動かしていきます。 それでは、やっていきます！