Redditに「小規模な言語モデルを特定の言語向けに改良する低コストな手法」という投稿がありました。 投稿者はKaggleのコンペティションでGemma2-2Bのイタリア語微調整にトライしたそうで、そのときのコードと知見を以下にまとめてくれています。 概要 www.kaggle.com Gemma 2は主に英語向けに設計されていますが、多言語にわたって有望な能力を発揮します。 語彙サイズが大きい(256k)ため、特定の言語の性能を向上させるための微調整に特に適しています。 このノートブックでは、イタリア語におけるGemma 2 2Bの性能向上に焦点を当てたケーススタディを紹介します。 この改善…