Gaussian Splatting

gigazine.net 生成AIを用いると「画像内の物体を移動」「1枚の画像をもとにアニメーションを作成」といった編集作業が可能ですが、物理的にあり得ない結果が出力されることも多々あります。 2D画像を3D空間に落とし込んで「物理的に違和感のない編集」を可能にする編集手法「MiraGe」 - GIGAZINE ヤギェウォ大学やケンブリッジ大学の研究チームが開発した画像編集手法「MiraGe」は「画像を三次元空間に落とし込む」というアプローチで物理的に正しい編集を可能とします。 2D画像を3D空間に落とし込んで「物理的に違和感のない編集」を可能にする編集手法「MiraGe」 - GIGAZIN…

1. 今週の予定 以下の内容を勉強します。 映像作品としてのLevelの作成 AIの勉強 Nvidia Omniverseの勉強 Gaeaの勉強 Houdiniの勉強 VFXの勉強 DirectX12の勉強 2. 映像作品としてのLevelの作成 先週、色々考えたんですが、3D Gaussian Splattingの勉強はしばらくお休みする事にしました。 そして今週からPCGの勉強を復活させる事にします。 2.1 PCGの勉強 2.1.1 今までの勉強を復習する PCGに関しては、一応基礎は勉強しました。 Blogを遡ってどんな勉強をしたのか確認します。 ＜2023-05-15のBlog＞ こ…

初日は大雨でミーティング終了時にすっかり暗くなっていたため、撮像は断念した。 二日目終了後に夕日が背後の建物に隠れるタイミングを見はからって、佐藤忠良《若い女の像》を3D Gaussian splattingした。鋳肌のお手入れがよく、どの方向から撮っても明るい空の光が肌に映り込んでしまうために、普通に撮像した画像（上段）とは異なるテクスチャーに見える（下段）。 なお、ミーティングの帰りで一脚は持って出てなかったので、周囲の囲いの上から手を高く差し上げられる範囲でのsplattingとなり、頭頂部はうまく届いていない。これも一期一会ということであるが、「学習」によってある程度補ってもらっている…

先だっての朝日新聞に北九州市の「小倉昭和館」で上映されている52ヘルツのクジラたちの原作者を迎えての併催イベントの記事が掲載された。 本屋大賞を受賞して、当時の勤務先の図書室にも麗々しく飾られていたのは見ていたが、まさか「児童虐待やヤングケアラーなどのテーマをあつか」っていたと知っていたら、スルーするどころか、延滞するぐらい借りたに違いない。 上映は明日（27日）まで、本日（26日）はメンズデイで300円の割引がある。とは言うものの、博多小倉駅間は往復134.4 kmにすぎず、ジパング倶楽部の2割引クーポン3枚目の対象にはならない。しかも映画館が満席ならとぼとぼ帰ってくるということになる。それ…

1. 今週の予定 以下の内容を勉強します。 映像作品としてのLevelの作成 AIの勉強 Nvidia Omniverseの勉強 Gaeaの勉強 Houdiniの勉強 VFXの勉強 DirectX12の勉強 2. 映像作品としてのLevelの作成 今週から動画の作成と動画の作成のための勉強は分けて記録するようにします。 2.1 動画の作成 2.1.1 Plateの位置を直す 先週以下のように書いていました。 これを直します。 以下のように直しました。 良い感じです。 更にPlate3のVisibleをLevel Sequence内でセットしてなかったので 以下のようになりました。 www.yo…

1. 今週の予定 今週も予定を見直す時間がありませんでした。ぶっつけ本番でやっていきます。 以下の内容を勉強します。 映像作品としてのLevelの作成 AIの勉強 Nvidia Omniverseの勉強 Gaeaの勉強 Houdiniの勉強 UEFNの勉強 DirectX12の勉強 2. 映像作品としてのLevelの作成 2.1 Terrain Remix Brushes - Unreal Engine 5 Tutorial [1]を実装する 先週勉強したTerrain Remix Brushes - Unreal Engine 5 Tutorial [1]が実装出来るかどうか試してみます。 …

2024年7月25～27日にかけて開催された「落合陽一 サマースクール2024」で使用する地理空間連動NFTに対応したARアプリ「Spatial Curator」をホロラボで開発しました。 サマースクール期間中に参加者が制作した作品は「Spatial Curator」を通して「体験データ」として実空間に配置することができ、それと同時にNFTとして参加者のウォレットに紐づけられます。 また同じく「Spatial Curator」を通すことで、それらの「体験データ」を他の参加者は追体験として閲覧することができます。 スマートコントラクト技術の導入により、「体験データ」が閲覧される度にその「体験デー…

結構広い部屋の空間をデータ的に軽い状態で3Dデータにしたい。 iOSのLiDAR系アプリやGSでのスキャンはやったがデータ軽いイメージない。ここまでの情報量なくていいから軽くてできればテクスチャありがいい。 bibinbaleo.hatenablog.com bibinbaleo.hatenablog.com 最悪手軽にできなくてもいい。 RoomPlan KiriEngine Polycam 3D Scenner App iRhino 3D ３比較 Metaのスキャン 軽いGS おまけ：SweetHome3D RoomPlan 軽そうということで一番最初に思いつくのはiOSのRoomPlan…

Advances in Preference-based Reinforcement Learning: A Review 強化学習の問題点の一つとして報酬関数の設計がパフォーマンスに大きく影響してしまう点がある。PbRLでは、絶対的なスコアでの報酬ではなくペアの良し悪しという形で暗黙的な報酬信号を用いることになる。 問題設定 PbRLでのMDPは6要素のタプルとして定義される。 まず一般的な強化学習でも存在している : 状態空間 : 行動空間 : 初期状態分布 : 状態遷移分布 : 割引率 : 軌道（状態と行動ペアの系列） : 方策 がある。PbRLでは追加要素として良し悪しの関係がある。 …

1. 今週の予定 今週も予定を見直す時間がありませんでした。ぶっつけ本番でやっていきます。 先週から以下の内容を勉強するようにしました。 映像作品としてのLevelの作成 AIの勉強 Nvidia Omniverseの勉強 Gaeaの勉強 Houdiniの勉強 UEFNの勉強 DirectX12の勉強 この結果、あまり無理しないで一週間を過ごす事が出来ました。 今週も同じようにやっていきます。 2. 映像作品としてのLevelの作成 2.1 先週の復習 これから直していきます。 2.2 飛び上がったDragonがもっとCameraに写る様にする Cameraの位置を変更するとErrorになりま…

1. 今週の予定 今週も予定を見直す時間がありませんでした。ぶっつけ本番でやっていきます。 先週計画した通り、今週から以下の内容を勉強する予定です。 映像作品としてのLevelの作成 AIの勉強 Nvidia Omniverseの勉強 Gaeaの勉強 Houdiniの勉強 UEFNの勉強 DirectX12の勉強 これだけ量を減らしたら、余裕をもってそれぞれの課題を余裕をもって勉強出来るはずです。 2. 映像作品としてのLevelの作成 今週はCameraの挙動を修正します。 2.1 Level SequenceのCameraの挙動を変更する 以下のように変更しました。 CameraがDrag…

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。 本記事では Inside Algomatic という podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一部として、7月に話題となったニュース一覧を公開します。なお以降で記述するニュースは、社内 slack や技術キャッチアップ会等から抽出しています。