はてなブログトップ

DeepSpeed

このタグでブログを書く

言葉の解説

ネットで話題

関連ブログ

DeepSpeed

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

グラフ機械学習と強化学習について•1年前

並列学習について (1)

最近、大規模言語モデル（LLM）の学習することが多いので、大規模なモデルの学習方法について記載します。並列学習について Data parallelism (DP) ZeRO 概要 CPUオフロードについて Case1: オフロード無し Case2: OptimizerとParamをオフロードする Case3: Optimizerのみオフロードする Estimate Pinned Memory 実装例 Pipeline parallelism (PP) 並列学習について巨大なパラメータをもつモデルの学習は非常に時間がかかってしまいます。そのため、計算時に並列を行っていく必要があります。大きく…

ネットで話題

もっと見る

165ブックマーク大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part1

32ブックマーク GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed - ABEJA Tech Blog

tech-blog.abeja.asia

31ブックマーク大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2

28ブックマーク大規模言語モデルを自作しよう！(Transformers+DeepSpeed+torch.compile+flash_attn2）

27ブックマーク DeepSpeed/blogs/deepspeed-chat at master · microsoft/DeepSpeed

23ブックマーク米Microsoft、“ChatGPTの目と耳実装”の影で画像対応の生成AI「DeepSpeed-VisualChat」開発

www.itmedia.co.jp

17ブックマーク DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed

14ブックマーク GitHub - microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

7ブックマーク ZeRO-Infinity and DeepSpeed: Unlocking unprecedented model scale for deep learning training - Microsoft Research

www.microsoft.com

関連ブログ

Retrieva TECH BLOG•2年前

DeepSpeedを用いたHuggingface Transformersの複数ノードでの学習

こんにちは。Chief Research Oficerの西鳥羽です。今回はDeepSpeedを用いてHuggingface Transformersの複数ノードでの学習をする方法を紹介します。 Huggingface Transformersは事前学習済みモデルを簡単に扱うことができるフレームワークです。BERTなどの言語モデルをはじめとして最近はWhisperなどの音声モデル、DETRなどの画像モデルも扱えるようになっています。Huggingface Transformersでは数多くの事前学習済みモデルを用意しているため事前学習を行わなくても用いることは可能ですが、多くのモデルで事前学習に…

#自然言語処理#DeepSpeed#HuggingfaceTranceformers