FLUX.1

RTX 4090 (VRAM 24GB)で検証しています。transformerのみを量子化 GPU 0 - Used memory: 10.61/23.99 GB time: 99.07 sectext_encoder_2のみを量子化 GPU 0 - Used memory: 9.32/23.99 GB time: 184.73 sec両方を量子化 GPU 0 - Used memory: 15.14/23.99 GB time: 50.56 secなぜかVRAM使用量が増えます。 量子化することによってフルにVRAMが使用できるようになったからでしょうか。 生成速度はかなり速いです。 この…

はじめに量子化を駆使して画像生成時間の短縮にトライしました。トランスフォーマーとテキストエンコーダー2を4bitに変換しました。もちろん画質は悪くなっていると思われます。結果RTX 4090を使っています。VRAMは15GB程度使用していました。16GBのVRAMがあればかなり高速化できると思います。結果①プロンプト A cat holding a sign that says hello world生成画像 時間 time: 43.34sec結果②プロンプト an insect robot preparing a delicious meal, anime style生成画像 時間 time…

huggingface.co はじめに前回テキストエンコーダーを8bitに量子化して何とか16GB未満（実際は13GB強）で動作させることができました。 touch-sp.hatenablog.com 今回はトランスフォーマーを4bitに量子化して12GB未満で動かしてみました。結果成功です。 PC環境 Windows 11 Python 3.12 CUDA 11.8Python環境構築 pip install torch==2.4.0+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https:…

結果プロンプト A photorealistic portrait of a young Japanese woman with long black hair and natural makeup, wearing a casual white blouse, sitting in a modern Tokyo cafe with soft window light 時間 time: 122.74secRTX 4090で計測しています。 VRAMは13GB程度使用していました。方法huggingface.co こちらから「anzu_flux_Mix_beta01_.safetensors」を…

つい最近Flux.1というオープンソース画像生成モデルが公開されたようなので、ComfyUIで試してみようと思います。 Flux.1について Flux.1の概要 Flux.1のアーキテクチャ ComfyUIで試す手順 1. ComfyUIの導入 2. ワークフローのインポート 3. モデルのダウンロード 4. 生成する 生成結果 生成結果1 - Flux Schnell(fp8) 生成結果2 - Flux Dev(fp8) 生成結果3 - Flux Dev(fp8) 生成結果4 - Flux Dev(fp8) 生成結果5 - Flux Dev(fp8) 生成結果6 - Flux Dev(fp8…

はじめにFLUX.1-dev で ControlNet が使えるようになったのでさっそく使ってみました。VRAM使用量を16GB以下に抑えるために「optimum-quanto」を使いました。最終的には1024x1024の画像生成がVRAM 16GB以下で可能になりました。Python環境構築 pip install torch==2.4.0+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install a…

はじめに前回「bitsandbytes」を使って量子化を行いました。 touch-sp.hatenablog.com 公式ページでは「optimum-quanto」を使うことが推奨されていたのでさっそく試してみました。 pip install optimum-quanto 「optimum-quanto」を使って量子化したモデルを保存する方法はこちらを参照しました。 github.com github.com qiita.com Pythonスクリプト量子化を行ってそれを保存するスクリプト import torch from diffusers import FluxTransformer2D…

節目の10作目ではあるが、ノーアイデアなので、リリックビデオを作ってみることにし、10/1（月）午前に「青春の音」のMVをUPしました。 リリックビデオなので当然歌モノである。日本語であり、そこまでハードじゃない楽曲、ということで、ストックからSunoで生成した「青春の音」を選曲した。ちなみにタイトルもSunoの生成である（自分でつけたと思われると気恥ずかしいので、一応弁明しておく）。 で、まずはリリックビデオのツールをググると、日本発のツールを見つけた。 それが、「TextAlive」である。https://textalive.jp/ はっきり言えば、AIの要素は全くない。サウンドビジュアラ…

画像生成モデルは、Stable Diffusionが出てきた頃は、Diffusionモデルが主流であったが、最近のStable Diffusion 3やFlux.1では、Flow Machingのモデルが使用されている。Flow Machingにもいくつかの訓練方法がある。 Rectified Flowは比較的シンプルでスケール可能な方法であり、画像のような高次元の分布にも適用できる。 Flow Maching Diffusionモデルは確率微分方程式(SDE)で分布の変換を行うが、Flow Machingでは常微分方程式(ODE)で分布の変換を行う。 ODEを使うことで、確率モデルのサンプリ…

退職お父さんだよ。 子供の頃から将棋を父親や兄と指してルールと基本のコマ組程度は分かるんだよ。 ちょうどコロナの頃、藤井聡太くんが四段の頃から活躍するのをみていわゆる「見る将」になり、AbemaTVで対局を見たりするようになったんだ。で、もう少し強くなりたいと思い将棋の勉強方法を調べたんだよ。 無料のコンピュータ対局ソフトはとりあえず「ぴよ将棋」が良さそう。スマホでもMacでも使えるし、強いし、１局指した後の検討にも使えるし。 ただ「ぴよ将棋」と対局しているだけだと新しいことを勉強できるわけではない。１局指した後全ての手を評価してもらえて、ダメな手がわかる。さらにその手で別のどんな手を指すべき…

はじめまして！AIちゃんと申します。 AIを使用したイラストの作成方法やプロンプト、テクニックなどを初心者の方にも分かりやすく解説したいと思い、このブログを立ち上げてみました！ 初投稿なので、まずはかるーく自己紹介などしてみたいと思います。 わたしは元々イラストが趣味で昔はPixivなどにも積極的に投稿していたのですが、ぶっちゃけ絵が下手でして（汗）最高ブクマ数も20程度の弱小絵描きでした。 綺麗な絵を描きたいと思ってもどうしても不器用でなかなか成長しなかったんですね。学生時代、美術は2とかです。。 絵を描くことは好きだったので無謀にもコミティアなどに出展したこともあります。 もちろん爆死でし…

何度か当アカウントに対してコメントをいただいているようですが、「未開の部族」、「蛮族」という表現は侮辱、誹謗中傷に該当すると考えますので、弁護士に相談の上、法的措置を検討させていただきます。 https://t.co/7VcPXisllU pic.twitter.com/YpMH1FGHO2 — ナウル共和国政府観光局（公式） (@nauru_japan) 2024年9月14日 経緯 ナウル共和国政府観光局がAIイラストを投稿したところ反AIが批判を開始。該当ポストは削除された。 【お詫び】本日、Xの生成AI機能を活用したナウル共和国のイメージを投稿しましたところ御苦言をいただいたため当該ポス…

注意動作は問題なくします。Windowsタスクマネージャーが表示するVRAM使用量と一致していません。どちらが正確かはわかりません。PyTorchからGPUを使っている場合は「torch.cuda.max_memory_allocated()」を使うのが簡単です。 print(f"GPU - Used memory: {torch.cuda.max_memory_allocated()/ 1024**3:.2f} GB") Pythonスクリプト pip install pynvmlimport functools import threading import time from pynvm…

退職お父さんだよ。 不動産投資をする予定は全くないのだけれど、ワンルーム投資には闇が多いということをFP3級レベルでもうすこし考えてみるよ。 今回はローンのお話だよ。ワンルーム投資をするのにほとんどの人は手持ち資金だけではなくローンを組んで投資物件を購入するね。これ自体はある意味合理的だよ。投資資金をローンで調達して手持ち資金よりも大きなお金で投資を行うことでしっかりと返済した上でより大きなリターンを得ることができる。レバレッジが効いているとも言うらしい。 サラリーマンが資金をローンで調達できる投資は多分不動産投資くらいではないかな。例えば投資信託をローンを組んで買う人はいないしできないような…

進化する画像生成AI | GrokとImageFXの比較レビュー 最近の画像生成AIの進化は凄いですね… 今回は、特に最近注目されている画像生成AIの「Grok」と「ImageFX」を比べていきたいと思います。 目次 1. 始め方 2. それぞれの背景 3. 特徴 4. 比較画像 5. 商用利用 6. まとめ 1. 始め方 まずは、それぞれの画像生成AIの始め方を紹介します。 Grok 「Grok」は、SNSの「X」で有料プランに入っていれば使用できるAI機能です。画像だけにこだわったものではないのですが、機能の一つとして画像が生成可能です。 Xにログイン後、メニューの左側に「Grok」という…