さて、ローカルLLMとしてBonsaiをProxmoxに入れてみました。 Bonsai-1.7Bにしてみましたが、結果....失敗です(汗) ものすごく遅いです。Helloだけで1分以上応答なしです。 モデルのロードも時間がかかります。 ということで実用に耐えない結果なんです。 う〜ん駄目かなあ。GPUがないのでCPUのAVXとかいう命令を使うように ollama.cppをコンパイルしてみたのですが、効果なし。 AI的にはVMの設定が悪いようなんですが、改善しません。 量子化1bitというモデルですが、動かん。 これだとOCIのPodmanで立てているGemmaのほうが全然いい。 VMにしてし…