Hatena::ブログ(Diary)

A Successful Failure このページをアンテナに追加 RSSフィード Twitter


2010年9月12日付でライブドアブログに引っ越しました。
新URLはhttp://blog.livedoor.jp/lunarmodule7/になります。
これからもどうぞよろしくお願い致します。



2009-06-29

Web上の膨大な画像に基づく自動画像補完技術の威力

画像内に映り込んだ所望のオブジェクトを排除し、違和感の無い画像を生成するシーン補完技術に関しては近年複数の研究成果が発表されている。しかし中でも2007年のSIGGRAPHにて米カーネギメロン大のJames HaysとAlexei A. Efrosが発表した手法*1はブレークスルーとなりうる画期的なものだ。

論より証拠、早速適用例を見てみよう。本エントリで利用する画像はPresentationからの引用である。元画像の中から邪魔なオブジェクト等の隠蔽すべき領域を指定すると、その領域が補完された画像が自動的に生成される。

f:id:LM-7:20090629065106j:image

アルゴリズム

効果は抜群だがアイデア自体は単純なものだ。Web上には莫大な数量の画像がアップされており、今や対象となる画像の類似画像を一瞬にして大量に検索することができる。そこで、検索された類似画像で隠蔽領域を完全に置き換えてしまうことで違和感の無い補完画像を生成するのだ。

f:id:LM-7:20090629065107j:image

研究グループではFlickrより230万枚の画像をダウンロードし検索用データベースを構築した。gist scene descriptor*2,*3による特徴量に基づき、データベースから瞬時に対象画像の類似画像を検索する(99.99%の関係のない画像は前段階で切り捨てられる)。検索上位200件の類似画像に対し、位置合わせ処理、ブレンディング処理を行い、1)シーンの適合度、2)コンテキストマッチング適合度(色+テクスチャ)、3)グラフカットコストに基づき、スコアを算出し、上位の20結果をユーザに提示する(下図)。

f:id:LM-7:20090629065108j:image

画像が小さいので大きめの画像を4点示す。人物の写っている写真などは明らかにスケールがおかしいが、概ね違和感なく補完されていることが分かる。

f:id:LM-7:20090629065109j:image

実施例

海の風景という比較的均一なテクスチャの画像は比較的補完が簡単である印象を受ける。次にせっかくの観光写真に写り込んだ邪魔なバスを消す実施例を挙げる。これをPhotoshopなどで行うのはなかなか骨が折れる作業に違いない。

f:id:LM-7:20090629065110j:image

補完結果は次の通りだ。いずれの写真も元の風景からは完全に違うものになっている。ただし、その場所を知っている人が見れば写真の違和感に気付くだろうが、知らない人が見てもこれが自動的に補完されたものだとは気付かないだろう。

f:id:LM-7:20090629065111j:image

続いて実例を挙げていく。左から元画像、隠蔽領域指定、補完画像である。3例目の写真は日本の七五三祭りの様子が合成され、国が変わってしまっているが、この写真を単体で見ると日本人には何の違和感もない。クレーンや工事中の建物など、景観を乱す建築物やオブジェクトを違和感なく消し去ることができていることが解るだろう。

f:id:LM-7:20090629065114j:image

20人の被験者による主観評価によれば、テストケースの補完画像の内37%が本物と見分けが付かなかった。判断時間を10秒に限定すれば実に66%が本物と認識されたという。これは従来の補完アルゴリズムと比べれば極めて高い値だ。

続いて失敗例を示す。1例目は人工的な建物に同じ色合いの自然の岩肌を合成した結果ファンタジックな地形となってしまっている。2例目は人物は綺麗に消えているが、路面のテクスチャが境界の左右で異なってしまっている。3例目は自動車が綺麗に消えて一見違和感がないが、右側の男性の下半身が消えてしまって心霊写真のようだ。

f:id:LM-7:20090629065115j:image

こうした失敗はあるものの、20件候補が提示されれば、1枚は成功画像が見つかるだろう。この技術を応用すれば、画像の不必要な部分を指定するだけで、違和感なく画像を補完することがワンタッチで出来るようになるだろう。論文によれば当初1万枚の画像データベースで試した時には生成画像の品質は失望させられるものだったが、データベースを200万枚まで増やすと品質が飛躍的に向上したという。Web上にアップされる画像の総数は日々増加しているのだから(Flickrへの投稿画像は昨年30億枚を突破している)、それらを上手く活用することが出来ればより品質の高い補完画像を得ることが出来るだろう。数年の内にはこのアプローチによる画像補完機能をもつアプリケーションが一般的になるかもしれない(大量のコラ画像が溢れる状況が容易に想像できるが……)。

Web上のリソースを用いて、コンテンツを補完するアイデアは他にも応用が利く。たとえば、ATOKダイレクトではWeb上の情報に基づく予測変換によりユーザのテキスト入力を支援している。現在は単語レベルの補完に留まっているが、将来的にはWeb上の大量のコーパスからコンテキストにあった文章を補完するような入力支援が実用化されるだろう。Google検索によるコピペが動的に行われるようなものだ。

画像に限らず、音楽や動画などよりリッチなメディアの補完についても研究が進むと思われる(動画像の補完は計算量が爆発するから一工夫必要そうだが)。さらに同一種類のコンテンツの補完に留まらず、小説に画像やBGMを自動的に付与するなどメディアを越えた補完・融合も実現するだろう。あらゆるコンテンツはネットの向こう側にある膨大なコンテンツ群により補完、拡張されるようになるに違いない。

論文の最後で著者らは、目に見える全ての実世界を充分によく似た別の画像で置き換えることは可能かどうか考察し、それはおそらく可能であり、かつ、それに必要な画像の総数はそれほど大きくはならないだろうと推測している。目で見て感じること全てがリアルとバーチャルの区別が付かないほど自然に融合した拡張世界が現実になる日は案外近いのかも知れない。

関連エントリ

*1Hays, J. and Efros, A.A.: Scene Completion Using Millions of Photographs, ACM Transactions on Graphics (SIGGRAPH 2007), Vol.26, No.3 (Aug. 2007)

*2:Torralba, A., Murphy, K. P., Freeman, W. T., and Rubin, M. A. 2003. Context-based vision system for place and object recognition. In ICCV.

*3:Torralba, A., Fergus, R., and Freeman, W. T. 2007. Tiny images. Tech. Rep. MIT-CSAIL-TR-2007-024.

shingotadashingotada 2009/06/30 08:07 これはすごい!!
画像解析の世界もこれから楽しみですねー。

金 2009/06/30 09:45 北朝鮮も大喜び!

tettou77-1tettou77-1 2009/07/01 16:50 信じられない!
というか、とりあえず笑った!

アイデアがすごいのか技術がすごいのか、両方すごいのか…。

TommyTommy 2013/02/22 15:56 というか、とりあえず笑った!

hoanglong86hoanglong86 2017/10/23 17:46 I love them so much, thank you very much
  I will also introduce to my friends, hope you have a lot of new topics and good meaning

frivtn100frivtn100 2017/10/23 17:47 Thanks for the marvelous posting! I actually enjoyed reading
it, you may be a great author.I will remember to bookmark
your blog and will eventually come back someday. I want to encourage yourself to continue your great work, have
a nice weekend!

hoanglonghoanglong 2017/10/23 17:50 Its like you read my mind! You appear to know a lot approximately
this, such as you wrote the e book in it or something.

teerteer 2017/10/25 00:32 Always a giver and will be in future too as it gives immense satisfaction, nothing in this world can give more satisfaction than becoming a giver.

frivfriv 2017/11/05 20:31 This is an awesome blog thank you!

free online gamesfree online games 2017/11/05 20:33 Love this blog it is very interesting

cool gamescool games 2017/11/05 20:34 Those images are cool very cool blog!

game sitesgame sites 2017/11/05 21:05 Great blog really enjoy it!

EdEd 2017/11/06 00:46 Enjoyed reading this blog.

penghilang flekpenghilang flek 2017/11/10 15:50 <a href='http://www.liyoskin.cepatkirim.com' title='cream penghilang flek' rel='nofollow'>cream penghilang flek paling aman</a>

agen togelagen togel 2017/11/13 13:01 [url=http://www.gruptoto.com]togel hk[/url]

Cream Pencerah WajahCream Pencerah Wajah 2017/11/14 12:26 http://www.kaniastore.com/cream-wajah-terbaik-herbal-dan-bpom-cream-untuk-menghilangkan-bekas-jerawat-komedo-flek-hitam-dan-mengecilkan-pori-pori-kulit-wajah/
http://www.kaniastore.com/cream-wajah-herbal-yang-cocok-untuk-semua-jenis-kulit-cream-wajah-untuk-menghilangkan-bintik-putih-bekas-jerawat-dan-mata-panda/
http://www.kaniastore.com/cream-wajah-untuk-menghilangkan-flek-hitam-dengan-permanen-dan-cocok-untuk-semua-jenis-kulit-cream-pencerah-wajah-aman-herbal-dan-legal-bpom/
http://www.kaniastore.com/cream-penghilang-flek-hitam-untuk-jenis-kulit-wajah-berminyak/

krim penghilang flek ampuhkrim penghilang flek ampuh 2017/11/15 10:20 http://www.glowita.com/2017/11/09/menghilangkan-flek-hitam-menahun/
http://www.penghilangflekampuh.cepatkirim.com/2017/10/28/penghilang-flek-kulit-sensitif/

snapchat iossnapchat ios 2017/11/16 11:09 Really interesting blog love it! Thanks

snapchat iossnapchat ios 2017/11/16 11:09 Really interesting blog love it! Thanks

krim flek untuk priakrim flek untuk pria 2017/11/28 16:59 dibatur ge wararas

youtube mp4youtube mp4 2017/11/29 20:22 thanks very much

krim flek hiatam ampuhkrim flek hiatam ampuh 2017/12/06 14:05 http://www.cepatkirim.com/krim-flek-racikan-dokter/
http://www.penghilangflekampuh.cepatkirim.com/2017/11/27/penghilang-hitam-banyak-pakai/
http://www.glowita.com/2017/11/30/krim-penghilang-flek-bintik-kecil/

hammerofthorhammerofthor 2017/12/11 04:18 Search Engine optimization is quite complicated but effective way to improve the ranking and visibility of the website. SEO helps you to reach your potential customers across various search engines like Google, Yahoo, and Bing etc


http://hammerofthors.com/
http://ciriobatasli.com/

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

トラックバック - http://d.hatena.ne.jp/LM-7/20090629/1246282979