はじめに AMD RX6600M GPUを搭載したWindowsマシンで、テキスト生成用途にLLM実行環境を試したときのメモです。 LM Studio、Ollama、KoboldCpp-rocm、AnythingLLMの各ソフトウェアの使用感、GPU動作について紹介します。 結論として、この中ではLM StudioとKoboldCpp-rocmがAMD RX6600Mを利用して動きました。 はじめに モデルについて 使用感と利点・欠点 1. LM Studio 2. Ollama 3. KoboldCpp-rocm 導入と設定 4. Anything LLM まとめ モデルについて LM St…