ControlNet

はじめに Luma AIからDream Machineが出ましたね。 これを使えば１枚の写真やイラストから動画が作成でき、無料で試せる。 すごい世の中になったものです。さっそく動かしてみました。 ペンで描いた下絵をStableDiffusion+ControlNetでイラストに変換し、 それをDream Machineで動画に変換。どんな動画ができるか・・・。 ペンで下絵を描く まずは、ペンで適当に下絵を描いてみます。 私はあまり絵心が無いので他の人に描いてもらった絵を使います。 線画からカラーのイラストを生成する これをStable Diffusion + ControlNetでイラストに変…

ControlNetは、既存のStable Diffusionモデルを拡張し、人物の姿勢などの空間的な条件付けを学習できるようにする画期的な技術です。どのような手法でこれを実現しているのかを図を交えながら説明していきます。 ControlNetについて ControlNetの概要 ControlNetモジュール 最終的なアーキテクチャ 最後に Appendix Zero Convolutionとは ControlNetについて arxiv.org ControlNetの概要 ControlNetは既存の学習済みtext2imageモデルを拡張し、空間的な条件付け（今回でいうと人物の姿勢）を学習…

今日はControlNetという手法を使って、登場する人のポーズを指定してみようと思います。プロンプトに加えて、人物の姿勢（特徴点やらセグメンテーションやら画像やら）を入力として加えることで、登場人物の姿勢を制御することが可能になります。具体的な手法は以下の記事をご覧ください。 otama-playground.com 作業の流れ 1. ComfyUIのインストール 2. ControlNetのモデルをダウンロード 3. ワークフローの作成 4. 画像を生成する 生成結果 最後に 今回の記事では、実際にComfyUIでControlNetを使って画像を生成しようと思います。 作業の流れ 1. …

はじめに前回の続きです。 touch-sp.hatenablog.com 変更点・Multi-IP-Adapterに対応しました。 （ただし、まだIP-AdapterのMulti-imagesには対応できていません）・モーション動画の作成をChampの方法（Blender使用）で行いました。 github.com 目的1つの動画と1枚の写真のみを用意して新しい動画を作成します。用意した動画と写真動画 写真 結果ホラーな動画になりました。そして、元動画の指の動きが正確に反映されませんでした。 右下の画像が最終的に作成された動画です。 その他の3つはChampの方法で作成したモーション動画です。 …

はじめに以前ControlNet と Inpaintを組み合わせて使用したことがあります。 touch-sp.hatenablog.com 今回はさらにIP-AdapterのFaceモデルを組み合わせて写真の顔を入れ替えてみます。 SD1.5を使って同じようなことをこちらでやっています。 touch-sp.hatenablog.com 今回はSDXLを使用します。ControlNetを使っているのも前回との違いです。元画像 元画像はぱくたそから使わせて頂きました。 こちらの画像です。 左から元画像、zoe-depth画像、マスク画像です。目的写真に写る人物をこちらの人物に変えてみます。 結果 …

目的この女性が歩く動画（アニメ調）を作っていきます。 この女性の写真はこちらで作成したものです。 touch-sp.hatenablog.com walking動画walking動画はPixabayからこちらの動画を使わせて頂きました。 結果LCM-LoRAなしなんとなく顔は似ているような気がします。 少し右腕の服がおかしなことになってしまっています。 残念！！方法設定をYAMLファイルに書き込んでそれを読み込む形にしています。YAMLファイル pretrained_model_path: "model/yabalMixTrue25Dv5_ema" vae: single_file: True…

はじめに以前、単一のControlNetを使う場合の記事を書きました。 touch-sp.hatenablog.com 新たにMulti-ControlNetに挑戦しました。はまりポイント最大32フレームまでしか対応していないようです。それ以上の動画を作ろうとするとエラーがでます。 RuntimeError: The size of tensor a (48) must match the size of tensor b (32) at non-singleton dimension 1エラーの原因がずっとわからずにどれだけの時間を無駄にしたことか。Pythonスクリプト最終的にはこのような…

生成AI活用による個人でのマンガ書籍の出版 - 完全ガイド 近年、生成AI技術の急速な発展により、個人クリエイターによるマンガ制作と出版の可能性が大きく広がっています。本記事では、生成AIを活用してマンガ書籍を出版する方法について、実践的なステップとノウハウをご紹介します。デジタルネイティブの個人クリエイターから、副業でマンガ制作に挑戦する社会人まで、幅広い方々に役立つ情報をお届けします。 はじめに：生成AIが変えるマンガ制作の未来 マンガ制作は従来、膨大な時間と労力を必要とする作業でした。背景の作成、効果線の追加、トーンワークなど、本筋のストーリーテリング以外にも多くの技術的な作業が求められ…

生成AI時代を勝ち抜く事業・組織のつくり方 梶谷健人 1. 生成AIのビジネス活用と社会変革 2. 組織変革のステップ 3. リーダーシップと人材育成 4. 課題とリスク管理 5. 長期的なビジョン 6. 実践的なガイドライン まとめ 生成AI時代を勝ち抜く事業・組織のつくり方 梶谷健人 梶谷健人氏の著書『生成AI時代を勝ち抜く事業・組織のつくり方』は、生成AI（Generative AI）の進化に伴うビジネスと組織の変革を深く掘り下げた内容である。本書の重要なポイントを以下にまとめる。 著者名、書名、出版者、出版年、総ページ数は以下のとおり。 梶谷健人、生成AI時代を勝ち抜く事業・組織のつく…

みなさん、こんにちは！今日は、画像や動画から人間のポーズを驚くほど正確に検出できる革新的なAIツール「OpenPose」についてご紹介します。🤖📸想像してみてください。あなたが撮影した写真や動画から、人間の体の動きや表情までもが瞬時に解析され、骨格のような線で表現される様子を。それが OpenPose の魔法なのです！🧙‍♂️✨OpenPoseは、カーネギーメロン大学が開発した画期的なツールで、人工知能の力を借りて、人間の姿勢や動きをリアルタイムで認識します。まるで、コンピューターに人間の目と脳を与えたかのようです！👀🧠では、このOpenPoseがどれほど凄いのか、じっくりと見ていきましょう。…

AUTOMATIC1111の場合、拡張からControlNetを入れてNoobAI用のモデルを導入すれば簡単です NoobAI-XL ControlNet-OPENPOSE - openpose model | Stable Diffusion XL Controlnet | Civitaihttps://civitai.com/models/962537?modelVersionId=1077649 こいつをModels/ControlNetに突っ込みます 設定はこんな感じ。あとは適当なポーズ写真をimage内にドラッグ&ドロップするだけ 拡張インストールできないよって人は起動オプションに-…

v-prediction modelをreforgeで使うには git clone https://github.com/Panchovix/stable-diffusion-webui-reForge -b dev_upstream_experimental これをビルドする text generation 画面のしたの方に NegPipやら ControlNet Integratedがあるが、その下の方に Advanced Mode Sampling for Forgeがある Enable Advanced Model SamplingをONにして、 Sampling mode Discr…