VQGAN

この記事の概要 動画を入力して将来のフレームを予測するVideo Predictionの論文「MaskViT: Masked Visual Pre-Training for Video Prediction」を紹介します。arxiv.org モデルによる予測の例は以下のリンクから見ることができます。maskedvit.github.io なおこの論文のことはDeepLearning.AIのニュースレター、THE BATCHで知りました。英語ですがこちらでも解説が読めます。www.deeplearning.ai 論文の概要 training 学習は2段階で行われ、まずはVQGANで画像を16×1…

※こちらは「画像生成AI Advent Calendar 2022」18日目の記事です。 2022年に入ってから画像生成AIが話題になった。Text-to-Image といわれる形式の機械学習モデルで、入力した文章をもとにした画像をAIが生成してくれるというものである。春頃にはOpenAIのDALL·E 2 や David Holz たちによるMidjourney など高品質の画像が生成できるモデルが登場し、これらが一般ユーザでも使えるようになるとSNS上にはAI生成による画像が溢れるようになった。さらにオープンソースであるStable Diffusion の登場により、ファインチューニングで…

はじめに こんにちは、スタイル・エッジ・グループのぽんです。 今年はオフィス移転の業務に関わったりなど、バタバタしておりましたが… ようやく、新しいオフィス周辺のお昼の探索を楽しみつつ、 新宿ど真ん中で濡れずに出勤できる喜びを日々かみしめています。 画像生成って？ 今回は、ここ最近流行っているテキストからの画像の自動生成を自分の環境で試してみました！ LINEアカウントがあったり、アプリがあったり、色々と盛り上がっていますね。組み合わせは「VQGAN＋CLIP」でWindows環境で実施しています。「VQGAN＋CLIP」であれば、Google Colaboratory（https://col…

テキストから画像を生成するモデルが話題ですが、代表的なモデルであるDALL-E2とImagen、Partiのアーキテクチャを比較しているTwitterのスレッドを紹介。 A quick thread on "How DALL-E 2, Imagen and Parti Architectures Differ" with breakdown into comparable modules, annotated with size 🧵#dalle2 #imagen #parti * figures taken from corresponding papers with slight modif…