「Merggoo」というLLMマージ用の新しいライブラリができたそうで、開発者の方がRedditでもPRポストを上げておられます。 もしかするとMegekitに代わるものになるのかもしれません。MoEのルーティングの学習や、LoRA Adapterの混合など。 面白そうなので後で試せればと思いますが、概要だけ先に見ておこうと思います。以下、開発者ブログの和訳です。 Mergoo: 効率的にマージし、微調整する (MoE, Mixture of Adapters) huggingface.co 私たちは最近、複数の LLM エキスパートを簡単に統合し、統合された LLM を効率的にトレーニングす…