Redditに「ファインチューンにおける各チャットフォーマットの長所/短所」という投稿が上がっていました。 長文ポストですが、一部を訳出すると: 古き良き「Alpacaフォーマット(###Instruction\n...)」は、1)ベースモデルを含めどんなモデルでも指示追従させやすく、2)フォーマット固有の特殊トークンも必要ない、という点で今なお使い勝手が良い。 「Vicunaフォーマット(USER: {}...)」は、ロールプレイ形式の文章をプロンプトに含めるとき、テンプレートと区別がつかずモデルが混乱する。 「ChatMLフォーマット(|im_system|\n...)」は良い形式だが、特…