VAE

前回の記事まではStable Diffustionの心臓部であるU-Netについて解説してきました。 ただのノイズから画像を作りだしていくのはU-Netの役割ですが、これだけでは画像は完成しません。 なぜならU-Netが作り出すものは「圧縮された画像」だからです。 絵を完成させるためにはこの圧縮された画像を展開して、元のサイズに戻す必要があります。 この、絵を圧縮したり展開したりする機能を「Variational Autoencoder」(ヴァリエーショナル・オートエンコーダー)、略して「VAE」と言います。 Stable Diffusionのしくみを語るとき、U-NetやTransforme…

AUTOMATIC1111へのモデル等の配置 colab上で利用できるAUTOMATIC1111は、各モデルやFine-tuningしたデータを正しく格納すると動的に切り替えられる。以下順に説明する。 ①modelの配置： 複数のモデルを動的に切り替える利用や、モデルをマージしたい場合も含め、モデルは全て、/content/stable-diffusion-webui/models/Stable-diffusion/フォルダに格納する。起動後、AUTOMATIC1111の一番左上欄の下矢印をクリックするとモデルを数秒程度で変更できる。 ②VAEの配置： VAEは全て、/content/stab…

VAE（改良オートエンコーダー） Stable Diffsion1.5、そのimpainitingVAE版の公開に続いて、StabilityAIからモデルのオートエンコーダ部を置換するVAE（改良オートエンコーダー）が公開された。 huggingface.co 公開されたのはモデルに含まれるオリジナルのkl-f8オートエンコーダから微調整された2つのkl-f8オートエンコーダバージョン。 ft-EMAは、元のチェックポイントから再開され、313198ステップのトレーニングを受け、EMAウェイトを使用 ft-MSEは、ft-EMAから再開され、EMA重みを使用し、MSE再構築(やや「より滑らかな…

はじめに マイナビ出版の実践GANの勉強記録シリーズ第2弾です。 この記事をはじめから見たい方は下記のリンクから#1を見てみてください！ 今日まとめるのは、第2章のオートエンコーダを用いた生成モデルです！ いきなり、GANの勉強となると難しいところもありますが、GANと同じ生成モデルの一つであるオートエンコーダについて学ぶことでGANへの理解へのステップが一歩進みそうです！ crinoid.hatenablog.com このブログとしては、だいたい一記事あたり一章について扱うような形で勉強記録として自分なりにまとめてあげていこうと思います。また、解釈違い等がございましたらご指摘いただけると幸い…