Hatena Blog Tags
はてなブログ トップ
SadTalker
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

SadTalker

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
パソコン関連もろもろ•1年前

動画作成をいろいろ試してみたけど顔だけを動かすなら現状 SadTalker がベストだと思います

はじめに無料でできる動画作成をいろいろ試しましたが顔だけを動かすなら現状 SadTalker がベストだと思います。AnimateDiffが話題になっていて更新され続けているのでいずれはそちらがベストになるような気もします。画像を1枚だけ準備する今回用意した画像が1枚だけです。「hadukiMix v1.0」で作成しました。一番左の画像です。そこから「modernDisneyXL_v11」と「osorubeshimerge_v10」のimage2imageで編集して計3枚にしています。 それぞれの画像にSadTalkerを適用させます。無音のmp3ファイルを作成するもともとSadTalkerは…

#SadTalker

関連ブログ

パソコン関連もろもろ•2年前

SadTalkerの設定をいろいろいじってみる（1枚の顔写真からしゃべっている動画を作成）

はじめにSadTalkerについてはこちらを見て下さい。 touch-sp.hatenablog.com 今回は設定をいろいろいじってみました。用意する顔写真どうせなら顔写真も生成AIに作らせようということでBRAV5（Beautiful Realistic Asians V5）を使って用意しました。作った時の設定は記事の後半にのせておきます。BRAV5すごいです。 結果本当は音声があるのですがGIFに変換してブログに載せているので画像だけになっています。動画を参照する場合--enhancer gfpgan --enhancer RestoreFormer 一番右が参照動画です。こちらから使わ…

#SadTalker
パソコン関連もろもろ•2年前

【SadTalker】1枚の顔写真と音声データだけでしゃべっている動画を作成

github.com 結果元画像はこちらを使いました。「haduki_mix v1.0」で作成したものです。 顔写真1枚しか使っていません。 音声は「ESPnet」で作成したものです。こちらを参照して下さい。 結果はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 今回試したOS環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10Python環境の構築CUDA 11.8 + Torch 2.0.1 pip install wheel pip install -r https://raw.githubus…

#SadTalker
パソコン関連もろもろ•2ヶ月前

Windows 11 で Hallo2 を使ってみる

はじめに「Hallo2」は顔画像と音声ファイルからしゃべっている動画を作成するモデルです。「リップシンク」モデルと表現されることもあります。以前「SadTalker」というのを使ったことがあります。それと同じようなことができます。 touch-sp.hatenablog.com PC環境Hallo2のGitHubには公式にサポートしているのはUbuntuのみと書かれています。 今回Windowsで動作させてみました。 Windows 11 CUDA 11.8 Python 3.10Python環境構築 git clone https://github.com/fudan-generative-…

SEが最近起こったことを書くブログ•8ヶ月前

2024年4月8日の週に気になった記事などまとめ

Building a RAG Pattern chat bot with Azure OpenAI and LangChain.js | Azure Developers JavaScript Day Azure 技術資料インデックス AWS 初学者向けの勉強方法 6 ステップ！2024 年版！ 【論文要約】Jamba: A Hybrid Transformer-Mamba Language Model【メモ】 サイバーエージェントが生成AI活用で「6割の業務削減」を宣言 独自開発中の「AIナスカ」が一翼を担う ナレッジグラフ（知識グラフ）とLLMを掛け合わせる方法のロードマップ Google…

パソコン関連もろもろ•1年前

【PhotoMaker】人物写真をカスタマイズできる PhotoMaker を使ってみました。

github.com はじめに「PhotoMaker」をつかえば色々人物写真をカスタマイズできるようですが、今回は1枚の写真から同一人物の写真を作成してみます。以前「IP-Adapter」を使って同様のことをしています。 touch-sp.hatenablog.com touch-sp.hatenablog.com 用意した画像用意した画像は1枚だけです。 「fudukiMix_v2.0」を使って作成したものです。結果ベストと思われるのがこちらです。 prompt: A photo of a woman img, frontal face, purple sunset, best qualit…