Diffusion Model

はじめに Diffusion Modelの学習方法 学習に使用したデータセット 利用環境 コードについて 学習の設定 1,000件のデータセットの作成 画像の変換処理の適用 Schedulers モデル構造の定義 学習処理の変更 学習結果 メトリクスの推移 生成画像の確認 まとめ はじめに こんにちは、CCCMKホールディングスTECH LABの三浦です。 3月ももう中旬です。まだ寒い日もありますが、少しずつ暖かい日も増えてきました。この時期は「これまでの締め」と「新しいことへの準備」が交互にやってくるので頭がグルグルしてきます。 さてここ数回の記事では画像生成で使われるDiffusion M…

こんにちは、CCCMKホールディングス三浦です。 前回、二つの画像を融合する技術について調べたことをまとめたのですが、今回はまた違う方向の"画像の融合"技術について取り上げてみたいと思います。 バーチャル試着を実現する技術"Virtual Try-On" 人物画像と服の画像を入力すると、その人物がその服を自然な様子で着ている画像を出力する。これが実現できると、スマートフォンやパソコン上で様々な服の試着が可能になります。けっこう見聞きする技術だったのですが、最近こういった技術が"Virtual Try-On"と呼ばれていることを知りました。 いくつかVirtual Try-Onの論文を見ていると…

こんにちは、CTO室リサーチャーの長山と申します。 モルフォでは毎週金曜日に持ち回りで論文紹介等を行うJournal Clubという取り組みを行っています。 今回は、私がその場で発表したSchrödinger Bridge（シュレーディンガー橋; SB）という確率論的生成モデルスキームの解説スライドを公開いたします。 Stable DiffusionやMidjourneyに代表されるような画像生成AI手法は、ここ一年間で目覚ましい発展を遂げたことは記憶に新しいと思います。 その原動力となった基礎技術の一つが拡散モデル（Diffusion Models）です。 拡散モデルとは、データからノイズへ…

2022年はdiffusionを利用したtext-to-imageモデルによる画像生成が流行った。 2020年にDDPMの論文が出てから2年程度で実用的な意味でもSoTAな手法になったわけだが、transformerが出てきたときと同じような大きな流れである模様。 diffusionを改善・応用した手法は多く出てきており、それらをちゃんと理解するためにも基本的な部分を実装してみた。 diffusionが最初に出てきたと言われるのは2015年に出たこちらの論文のようだが https://arxiv.org/abs/1503.03585 実応用として画像がGANのモデルと遜色のないレベルのクオリテ…

OpenAIが先日発表したGLIDEにDiffusion Moldelが使用されているとのことで、最近話題のDiffusion Model（拡散モデル）について、まとめました。 サマリー 生成モデルとは Diffusion Model（拡散モデル）とは Forward diffusion process Reverse diffusion process 学習 応用例 画像生成 条件付き画像生成 画像変換 参考文献 サマリー ・Diffusion Model（拡散モデル）は、元データにノイズが徐々に付加されていき、最終的にガウシアンノイズとなるという前提を置き、その逆のプロセスをモデル化するこ…