Hugging Faceではエッジデバイスモデル(1Bモデルと3BモデルでそれぞれQ3, Q4, Q6, Q8版)が公開されている。 一番大きな3B Q8版でも3.42 GBしかないので、公開初日ながらダウンロードさせてもらって、応答が異様に早い(というか、3.1 70BモデルQ8版の遅さになれてしまったのである)のに畏敬の念を覚える。エッジデバイスに組み込むのに、追加学習を前提にしているのであろうが、ハルシネーションもハンパではない。 画像認識に対応するマルチモーダル対応の11Bおよび90Bモデルもいずれ公開されると思われる。その追加された学習成果でファイルサイズはぐっと大きくなるのであろう…