Hatena Blog Tags
はてなブログ トップ
DeepSpeed
このタグでブログを書く

DeepSpeed

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Retrieva TECH BLOG•2ヶ月前

DeepSpeedを用いたHuggingface Transformersの複数ノードでの学習

こんにちは。Chief Research Oficerの西鳥羽です。今回はDeepSpeedを用いてHuggingface Transformersの複数ノードでの学習をする方法を紹介します。 Huggingface Transformersは事前学習済みモデルを簡単に扱うことができるフレームワークです。BERTなどの言語モデルをはじめとして最近はWhisperなどの音声モデル、DETRなどの画像モデルも扱えるようになっています。Huggingface Transformersでは数多くの事前学習済みモデルを用意しているため事前学習を行わなくても用いることは可能ですが、多くのモデルで事前学習に…

#自然言語処理#DeepSpeed#HuggingfaceTranceformers

関連ブログ

Frqux’s AI laboratory•7日前

アニメの世界を合成！？DreamBoothで体験する画像生成の進化

こんにちは。ふらうです。 皆さん。「あのキャラクターがあの仕事をしていたらどうなるんだろう...」、「あのキャラクターがこんなことしていたらどういう風になるんだろう...」、「あのキャラとあのキャラのカップリングを見てみたい！」と考えたことはありませんか？ ...私はあります。 今回は、それを可能にする、DreamBoothについて書いていきます。 よくpixivやtwitterでアニメやゲームの版権キャラのAI絵を生成して公開されている方がおられますが、そういう絵をDreamBoothを使って生成することができるらしいのです。 そこでDreamboothについて気になったので調べてみようと思…

パソコン関連もろもろ•2ヶ月前

【xFormers】DiffusersでDreamBoothを試す（VRAM 12GBでDreamBoothの実行は可能か？）

公開日：2023年2月3日 最終更新日：2023年2月13日 はじめに 環境構築 設定 text encoderのファインチューニングなし text encoderのファインチューニングあり 現時点での結論 結果 text encoderのファインチューニングなし 400steps 800steps text encoderのファインチューニングあり 200steps 400steps 800steps 関連記事 はじめに長らくDiffusersのDreamBoothでxFormersがうまく機能しない時期がありました。「xformers==0.0.17.dev441」が公開されてその問題は解…

パソコン関連もろもろ•2ヶ月前

【DeepSpeed】DiffusersでDreamBoothを試す（DeepSpeedでどこまでVRAM消費を減らせるか）

はじめに 環境構築 実験と結果 text encoderのファインチューニングなし no gradient_checkpointing, no set_grads_to_none with gradient_checkpointing, no set_grads_to_none no gradient_checkpointing, with set_grads_to_none with gradient_checkpointing, with set_grads_to_none text encoderのファインチューニングあり 現時点での結論 はじめに前回の続きです。 touch-sp.ha…

オムライスの備忘録•2ヶ月前

【自然言語処理】Transformer #まとめ編

Index Index アルゴリズム BERT / 2018 - ★ GPT / 2018 - ★ Memory Compressed Transformer / 2018 Transformer-XL / 2019 Multi-Task Deep Neural Network / MT-DNN / 2019 XLNet / 2019 ERNIE / 2019 Sparse Transformer / 2019 Compressive Transformers / 2019 Megatron-LM / 2019 XLM / 2019 - ★ T5 / 2020 ★ ELECTRA / 2020…

パソコン関連もろもろ•2ヶ月前

DiffusersでDreamBoothを試してみる（Stable Diffusion v1.4のファインチューニング）

はじめに 環境構築 PC環境 Python環境の構築 Pythonスクリプトのダウンロード 設定 prior-preservation lossなし no use_8bit_adam no gradient_checkpointing, no set_grads_to_none with gradient_checkpointing, no set_grads_to_none no gradient_checkpointing, with set_grads_to_none with gradient_checkpointing, with set_grads_to_none with use…

パソコン関連もろもろ•2ヶ月前

DiffusersでTextual Inversionを試してみる（Stable Diffusion v1.4のファインチューニング）

はじめに 環境構築 PC環境 Python環境の構築 事前準備 Stable Diffusion v1.4のダウンロード Pythonスクリプトのダウンロード 使用する画像のダウンロード 実行 学習 推論 公式チュートリアル 参考にさせて頂いたサイト その他 追記 はじめにTextual Inversionとは既存モデルに対して数枚の画像でファインチューニングする手法です。今回はStable Diffusion v1.4のファインチューニングを行いました。基本的には後述する公式チュートリアルを実行しただけです。環境構築PC環境 Windows 11 CUDA 11.6.2 Python 3.1…

サブロウ丸•3ヶ月前

サーベイ: Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning

@article{zheng2022alpa, title={Alpa: Automating Inter-and Intra-Operator Parallelism for Distributed Deep Learning}, author={Zheng, Lianmin and Li, Zhuohan and Zhang, Hao and Zhuang, Yonghao and Chen, Zhifeng and Huang, Yanping and Wang, Yida and Xu, Yuanzhong and Zhuo, Danyang and Gonzalez, Joseph …

Hello p-adic World•3ヶ月前

2022年末

年の瀬、久しぶりに振り返りとしてブログを書くことにした。 コロナ禍で、やる気をなくしたりオープンな人間関係に不安を感じたりして、長らくブログを更新していなかったが、そろそろ再開してもいいかなと思ってきている。 理由はいくつかあるがざっと書くとこのあたりだろう。 忙しさを言い訳に勉強時間が減っている。 アウトプットがプライベートに閉じていて強制力が足りない。 アウトプットしなくて誤魔化してやったことにできる習慣を打破したい。 アウトプットをもとに自分のモチベーションが刺激されるような関係を作りたい わかっていない部分とちゃんと向き合いたい。 2023年はML・CSに向き合う一年にしたい。具体的に…

ENGINEERING BLOG ドコモ開発者ブログ•3ヶ月前

Text-to-3D手法でいらすとや風の3Dモデルを作ってみる

この記事は，ドコモアドベントカレンダー17日目の記事になります。 こんにちは。ドコモの下山と言います。業務ではバーチャル空間における3Dコンテンツ生成に取り組んでいます。 この記事では，Stable Diffusionに代表されるText-to-Imageの技術と，Novel View Syntyesisの手法であるNeRF（Neural Radiance Fields）を組み合わせた手法であるDreamFusionを使って，手元に用意した10数枚のいらすとや画像から，いらすとや風の3Dモデルの生成を試みます。 DreamFusion DreamFusionは"DreamFusion: Tex…

retarfiの日記•4ヶ月前

HuggingFaceのtransformers.trainerをDeepSpeedと一緒に使うときの注意覚書

事前学習関連で色々試していたらHuggingFaceのtransformersとDeepSpeedのIntegrationでうまくいかないところがあった。 具体的には、transformers.TrainerとDeepSpeedを同時に使っていて、さらにgraidient_accumulation_stepsが1でない場合に、transformers.TrainerとDeepSpeedのそれぞれのglobal step数がずれてしまうというものである。 transformersのv4.24.0ではL1767以降でoptimizerの更新を行う。 https://github.com/huggi…

Platinum Data Blog by BrainPad•4ヶ月前

Azure Machine Learning in Microsoft Ignite 2022 参加レポート

2022年10月13日（木）～14日（金）に、Microsoft社が主催する年次最大級の開発者向けテクニカルカンファレンス「Microsoft Ignite」がオンラインとリアルのハイブリッドで開催されました。リアルイベントに参加した社員がイベントの模様をレポートします。 こんにちは、データエンジニアリング本部（DE本部） アナリティクスエンジニアリング部の市村です。ブレインパッドには、クラウドプラットフォームの知識・スキルを深化させるべく、Google Cloud 、AWS、 Microsoft Azure、 Snowflakeの4つのクラウドプラットフォームチームから成る「クロスファンクシ…

game snap•5ヶ月前

AIイラスト | 機械学習情報リンク[2022/10/25]

NovelAI,Waifu-diffusion,stable diffusion関連の機械学習のための関連リンクです 機械学習はローカルとGoogle colabを使う方法があります ローカルではGPUが16G以上（少なくとも8G）必要 Google colabは機械学習は大変時間がかかるので、有料プランに加入する必要がでてくることに注意 日本語サイト AIで特定キャラを描く(DreamBoothで追加学習) [資料]DreamBoothのstepごとの学習結果 Colab で DreamBooth する Stable DIffusion Web UI AUTOMATIC1111/hypern…