最近話題の ChatGPT を超えるとか言われている FlexGen。いろいろと検索してみたら、こちらのサイトで FlexGen の windows でのインストールや使用法について詳しく書かれておりました。economylife.netまぁ、win11、i7、memory 32G、GTX1060 6G ではお話にならないはずなのですが、動いたら儲けもので opt-1.3b のベンチマークを上記サイトに従ってやってみたら、以下のような感じでベンチマークが出る。 model size: 2.443 GB cache size: 0.398 GB hidden size (p): 0.008 GB…
www.businessinsider.jp
zenn.dev
gigazine.net
developers.agirobots.com
note.com
dev.classmethod.jp
zenn.dev