Megatron-LM

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

Sabrou-mal サブロウ丸•3年前

Megatron-LMのソースコードを読む

NVIDIAが提案するTransformerをベースとする言語処理モデルの並列化実装。サーベイ記事はこちら↓↓↓ Githubのレポジトリには Data Preprocessing （データ前処理） Pretraining（事前学習） Evaluation and Tasks（評価）のコードが含まれています。事前学習については BERT GPT T5 の3つのモデルについて、分散版とそうでないものがそれぞれ用意されていますね。論文を読むと分かりやすいですが、Megatron-LMで提案しているのはモデルの垂直的な分割によるモデル並列とAttention部分の水平分割による並列処理の合わせ…

#Megatron-LM

ネットで話題

34ブックマーク Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog

tech-blog.abeja.asia

関連ブログ

Sabrou-mal サブロウ丸•3年前

サーベイ: Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism

@article{shoeybi2019megatron, title={Megatron-lm: Training multi-billion parameter language models using model parallelism}, author={Shoeybi, Mohammad and Patwary, Mostofa and Puri, Raul and LeGresley, Patrick and Casper, Jared and Catanzaro, Bryan}, journal={arXiv preprint arXiv:1909.08053}, year={…

#Megatron-LM