ここ数日「Stable Knowledge Editing」を参考にしながら、LoRAファインチューンによるLLMへの知識の追加を試しています。 LoRAのハイパーパラメータ調整のコツを調べるなかで、「DoRA(重み分解LoRA)」という別のLoRA派生手法の存在を知りました。HuggingFaceのPEFTライブラリでも対応しているツールのようです。 DoRA論文は、2024年2月にNVIDIA&香港科技大学の研究者によりarXivに投稿されています。 arxiv.org 概要 広く使われているパラメータ効率的ファインチューニング(PEFT)手法の中で、LoRA(低ランク適応)とその亜種は、…