量子化

今回もAIの量子化について学んでいきます。GoogleのQAT量子化の論文 に出てくる gemmlowp ライブラリ について見ていきます。 前回は、gemmlowp の サンプルコード（doc/quantization_example.cc）を実行しました。長い実行ログが出力されて、その内容は量子化計算のチュートリアルのようになっていたので、その説明をしました。 今回は、実行結果のログだけでは十分に理解できなかった部分を、デバッガを使って、実行結果とソースコードを見ながら、理解を深めていきます。 それでは、やっていきます！

今回もAIの量子化について学んでいきます。GoogleのQAT量子化の論文 に出てくる gemmlowp ライブラリ について見ていきます。 それでは、やっていきます！

「量子化の論文を読む」の2回目です！ Googleが2017年12月にarXivに登録した論文の「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」の続きで、今回は2章を読んでいきます。

今回もAIの量子化について学んでいきます。論文を読むことは継続しつつ、今回は、実際に量子化モデルを動かして、推論の高速化を実感したいと思います。 前回（TensorFlow Lite Pythonで量子化モデルをRaspberry Pi 4で動かす - daisukeの技術ブログ）は、Python の tflite-runtime をインストールして実行しましたが、今回は、C++でやっていきます。手順通りにやれば、必ず同じことが出来るように、環境構築、ビルド、実行の手順を書いていきます。 それでは、やっていきます！

今回からAIの量子化について、学んでいこうと思います。具体的には、量子化することによる推論の高速化について調べていきたいと思います。 最近のChatGPTなどに代表される「大規模言語モデル（LLM）」の動向としても、量子化が注目されてきています。 量子化によって、一定の精度劣化はありますが、モデルを小さくしたり、推論速度を改善したりできることから、エッジデバイスで推論する際に、よく使われています。 最近、スマホにLLMを搭載したというニュースが出てました。 AIの量子化では、大きく分けて、PTQ（Post Training Quantization）と呼ばれる「学習後の量子化」と、QAT（Qu…

量子化時のモデル劣化を抑制する重要度行列（iMatrix; Importance Matrix）計算の話題です。 最近はHuggingFaceにアップされるGGUFも多くがiMatrix版となっていますが、これらの量子化でよく使われているiMatrix計算用データセットは以下の2種類のようです。 wiki.train.raw：Wikitext（英語版）のトレーニング用データセット。llama.cppのサンプルでもwiki.train.rawが使われている。iMatrix計算では、このうち10kトークンほど計算すれば実用的には十分な様子。 groups_merged.txt：koboldcppに…

前回の記事で試した日本語チャットモデル「ChatNTQ-JA-7B-v0.1」と、そのMoEモデル「LightChatAssistant 2x7B（改称あり）」について、かなり性能が良さそうな感触が得られたので、追加でテストしてみました。 LLMの日本語チャット性能を測るベンチマークとしては「MT-Bench日本語版（GPT-4測定）」が最も代表的ですが、何度も測定するにはコスト面でヘビーそうなので、代わりにELYZAさんの考案した「ELYZA-tasks-100」を使うことにしました。 huggingface.co このベンチマークは5点満点の日本語記述問題100問から構成されています。本来…

せっかくColab Proが使えるようになったので、ローカルPCでは動かせないような大規模言語モデルを動かしてみたい。そこで選んだのが東大松尾・岩澤研が最近発表したTanuki-8x8Bである。8x8Bとは公開ページの説明によると「8Bモデルを8つに複製し、それぞれを専門家モデルとして分化・連携させることで動作するように効率的に追加学習されたモデル」らしい。素人には分からないが凄いことをしているようだ。実際に動かして雰囲気だけでも味わってみたい。 動かし方（推論させる方法） こちらに松尾研LLM開発プロジェクトメンバーの方の説明がある。方法として以下の５つの方法が書かれている。 vLLMによる…

Arduino UNO R4にDACがあるので何か音源を作ってみたいと思いました。 過去にmbedでPSG音源やファミコン音源を作って遊んでたことがありました。 その頃に結局実現する前に飽きて止まってしまってますがFM音源を作ってみたいなと思い、仕組みを理解するために買って今でも音源関係で役に立っている本があります。サウンドプログラミング入門 - 音響合成の基本とC言語による実装 初版は2013年3月10日発行ですが、現在でも現行商品として販売されています。章の構成を見てもらえればわかると思いますが、波形を出力する基本からPSG音源やFM音源等の仕組みも解説されていて1冊で一通りのことがコンパ…

Simple Description SM 力 電磁気力 弱い力 強い力 力の範囲 素粒子 レプトン クォーク ヒッグス機構 大統一 超対称性 弦理論 Basic Problems 知識の整理 Simple Description SM SM（Standard Model: 標準理論）はQFT（場の量子論）によって記述され，重力を除くすべての素粒子とその相互作用を説明できると考えられている．自然界の4つの力はゲージボソンにより媒介され，SMで説明される電磁気力，弱い力，強い力を媒介するフォトン，ウィークボソン，グルーオンといったゲージボソンはスピン1だが，重力は量子化するとスピン2のグラビトン…

はじめに前回量子化について調べてみました。 touch-sp.hatenablog.com 今回、生成過程を分割することで「VRAM 12GB以内」かつ「高速」に動かすことができました。結果RTX 4090 (VRAM 24GB)で測定しています。 torch.cuda.max_memory_allocated: 6.58 GB torch.cuda.max_memory_allocated: 6.76 GB GPU 0 - Used memory: 9.01/23.99 GB time: 52.11 sec「torch.cuda.max_memory_allocated」でVRAM使用量を測…

RTX 4090 (VRAM 24GB)で検証しています。transformerのみを量子化 GPU 0 - Used memory: 10.61/23.99 GB time: 99.07 sectext_encoder_2のみを量子化 GPU 0 - Used memory: 9.32/23.99 GB time: 184.73 sec両方を量子化 GPU 0 - Used memory: 15.14/23.99 GB time: 50.56 secなぜかVRAM使用量が増えます。 量子化することによってフルにVRAMが使用できるようになったからでしょうか。 生成速度はかなり速いです。 この…

Today(※最近) I Learned です 目次 目次 LLMの量子化で知っていたbitsandbytes python -m bitsandbytes Colabでの実行例 実装 通らない場合 終わりに LLMの量子化で知っていたbitsandbytes 過去の素振りから、bitsandbytesはtransformers.BitsAndBytesConfigで知っていました。 LLMをロードする際のquantization_configに指定します。 bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_t…

前回に続いて今回も発表参加でした。 pgunconf.connpass.com とりあえず自分の発表の話 イベント・勉強会参加記録を溜めてしまっているので手短に行きます。 と言うわけで最初に自分の発表の話から。 www.docswell.com 前回は pgvector 0.6.0 以降の話をしましたが、関連して今回は pgvectorscale と pgai の話をしました。 github.com github.com 話をした後の質問や X の TL で気づいたのですが、 ベクトルの量子化、もう運って感じで思ってるのだがチューニングとか無理じゃね？と思う。もう意図したデータを出すことが目的…

書籍「深層ニューラルネットワークの高速化」を読んだので内容をまとめる。以下の内容は、ほとんどClaude3.5 Sonnetを使用して作成している。目次 第1章 はじめに 1.1 高速化の意義 1.2 高速化の理論的背景 1.3 用語の整理 第2章 高速化手法の概要 2.1 量子化と低精度化 2.2 枝刈り 2.3 蒸留 2.4 低ランク近似 2.5 高速なアーキテクチャ 2.6 ハードウェアの改善 2.7 複数の技法の組み合わせ 2.8 その他の技法 第3章 量子化と低精度化 3.1 16ビット浮動小数点数 3.2 その他の低精度浮動小数点数フォーマット 3.3 自動混合精度計算 3.4 整…

はじめに量子化を駆使して画像生成時間の短縮にトライしました。トランスフォーマーとテキストエンコーダー2を4bitに変換しました。もちろん画質は悪くなっていると思われます。結果RTX 4090を使っています。VRAMは15GB程度使用していました。16GBのVRAMがあればかなり高速化できると思います。結果①プロンプト A cat holding a sign that says hello world生成画像 時間 time: 43.34sec結果②プロンプト an insect robot preparing a delicious meal, anime style生成画像 時間 time…

目次 調べたもの FLACとは Features FormatOverview メタデータ オーディオデータ ブロッキング インターチャンネルデコリレーション モデリング 残留符号化 フレーミング その他 Format 範囲 アーキテクチャ 定義 ブロッキング チャンネル間のデコリレーション(Interchannel-Decorrelation) 予測 (Prediction) 残差符号化 フォーマット STREAM METADATA_BLOCK METEDATA_BLOCK_HEADER METADATA_BLOCK_DATA METADATA_BLOCK_STREAMINFO METADA…