Hatena Blog Tags
はてなブログ トップ
Flash Attention
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Flash Attention

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
nikkie-ftnextの日記•9ヶ月前

transformers.AutoModelForCausalLM の from_pretrained() の attn_implementation 引数に泣かされています（Gemmaを例に）

Today(※最近) I Learned です。 といっても全然うまくいっていません 目次 目次 AutoModelForCausalLM.from_pretrainedの引数 attn_implementation引数のデフォルト値 attn_implementation="eager"（訓練できる） attn_implementation="sdpa"かつ、Flash Attention 1（No available kernel） attn_implementation="flash_attention_2"（宿題） Flash Attentionの実装が重複してる感 積ん読 AutoM…

#LLM#Flash Attention

関連ブログ