Hatena::ブログ(Diary)

A Successful Failure このページをアンテナに追加 RSSフィード Twitter


2010年9月12日付でライブドアブログに引っ越しました。
新URLはhttp://blog.livedoor.jp/lunarmodule7/になります。
これからもどうぞよろしくお願い致します。



2009-06-29

Web上の膨大な画像に基づく自動画像補完技術の威力

画像内に映り込んだ所望のオブジェクトを排除し、違和感の無い画像を生成するシーン補完技術に関しては近年複数の研究成果が発表されている。しかし中でも2007年のSIGGRAPHにて米カーネギメロン大のJames HaysとAlexei A. Efrosが発表した手法*1はブレークスルーとなりうる画期的なものだ。

論より証拠、早速適用例を見てみよう。本エントリで利用する画像はPresentationからの引用である。元画像の中から邪魔なオブジェクト等の隠蔽すべき領域を指定すると、その領域が補完された画像が自動的に生成される。

f:id:LM-7:20090629065106j:image

アルゴリズム

効果は抜群だがアイデア自体は単純なものだ。Web上には莫大な数量の画像がアップされており、今や対象となる画像の類似画像を一瞬にして大量に検索することができる。そこで、検索された類似画像で隠蔽領域を完全に置き換えてしまうことで違和感の無い補完画像を生成するのだ。

f:id:LM-7:20090629065107j:image

研究グループではFlickrより230万枚の画像をダウンロードし検索用データベースを構築した。gist scene descriptor*2,*3による特徴量に基づき、データベースから瞬時に対象画像の類似画像を検索する(99.99%の関係のない画像は前段階で切り捨てられる)。検索上位200件の類似画像に対し、位置合わせ処理、ブレンディング処理を行い、1)シーンの適合度、2)コンテキストマッチング適合度(色+テクスチャ)、3)グラフカットコストに基づき、スコアを算出し、上位の20結果をユーザに提示する(下図)。

f:id:LM-7:20090629065108j:image

画像が小さいので大きめの画像を4点示す。人物の写っている写真などは明らかにスケールがおかしいが、概ね違和感なく補完されていることが分かる。

f:id:LM-7:20090629065109j:image

実施例

海の風景という比較的均一なテクスチャの画像は比較的補完が簡単である印象を受ける。次にせっかくの観光写真に写り込んだ邪魔なバスを消す実施例を挙げる。これをPhotoshopなどで行うのはなかなか骨が折れる作業に違いない。

f:id:LM-7:20090629065110j:image

補完結果は次の通りだ。いずれの写真も元の風景からは完全に違うものになっている。ただし、その場所を知っている人が見れば写真の違和感に気付くだろうが、知らない人が見てもこれが自動的に補完されたものだとは気付かないだろう。

f:id:LM-7:20090629065111j:image

続いて実例を挙げていく。左から元画像、隠蔽領域指定、補完画像である。3例目の写真は日本の七五三祭りの様子が合成され、国が変わってしまっているが、この写真を単体で見ると日本人には何の違和感もない。クレーンや工事中の建物など、景観を乱す建築物やオブジェクトを違和感なく消し去ることができていることが解るだろう。

f:id:LM-7:20090629065114j:image

20人の被験者による主観評価によれば、テストケースの補完画像の内37%が本物と見分けが付かなかった。判断時間を10秒に限定すれば実に66%が本物と認識されたという。これは従来の補完アルゴリズムと比べれば極めて高い値だ。

続いて失敗例を示す。1例目は人工的な建物に同じ色合いの自然の岩肌を合成した結果ファンタジックな地形となってしまっている。2例目は人物は綺麗に消えているが、路面のテクスチャが境界の左右で異なってしまっている。3例目は自動車が綺麗に消えて一見違和感がないが、右側の男性の下半身が消えてしまって心霊写真のようだ。

f:id:LM-7:20090629065115j:image

こうした失敗はあるものの、20件候補が提示されれば、1枚は成功画像が見つかるだろう。この技術を応用すれば、画像の不必要な部分を指定するだけで、違和感なく画像を補完することがワンタッチで出来るようになるだろう。論文によれば当初1万枚の画像データベースで試した時には生成画像の品質は失望させられるものだったが、データベースを200万枚まで増やすと品質が飛躍的に向上したという。Web上にアップされる画像の総数は日々増加しているのだから(Flickrへの投稿画像は昨年30億枚を突破している)、それらを上手く活用することが出来ればより品質の高い補完画像を得ることが出来るだろう。数年の内にはこのアプローチによる画像補完機能をもつアプリケーションが一般的になるかもしれない(大量のコラ画像が溢れる状況が容易に想像できるが……)。

Web上のリソースを用いて、コンテンツを補完するアイデアは他にも応用が利く。たとえば、ATOKダイレクトではWeb上の情報に基づく予測変換によりユーザのテキスト入力を支援している。現在は単語レベルの補完に留まっているが、将来的にはWeb上の大量のコーパスからコンテキストにあった文章を補完するような入力支援が実用化されるだろう。Google検索によるコピペが動的に行われるようなものだ。

画像に限らず、音楽や動画などよりリッチなメディアの補完についても研究が進むと思われる(動画像の補完は計算量が爆発するから一工夫必要そうだが)。さらに同一種類のコンテンツの補完に留まらず、小説に画像やBGMを自動的に付与するなどメディアを越えた補完・融合も実現するだろう。あらゆるコンテンツはネットの向こう側にある膨大なコンテンツ群により補完、拡張されるようになるに違いない。

論文の最後で著者らは、目に見える全ての実世界を充分によく似た別の画像で置き換えることは可能かどうか考察し、それはおそらく可能であり、かつ、それに必要な画像の総数はそれほど大きくはならないだろうと推測している。目で見て感じること全てがリアルとバーチャルの区別が付かないほど自然に融合した拡張世界が現実になる日は案外近いのかも知れない。

関連エントリ

*1Hays, J. and Efros, A.A.: Scene Completion Using Millions of Photographs, ACM Transactions on Graphics (SIGGRAPH 2007), Vol.26, No.3 (Aug. 2007)

*2:Torralba, A., Murphy, K. P., Freeman, W. T., and Rubin, M. A. 2003. Context-based vision system for place and object recognition. In ICCV.

*3:Torralba, A., Fergus, R., and Freeman, W. T. 2007. Tiny images. Tech. Rep. MIT-CSAIL-TR-2007-024.

shingotadashingotada 2009/06/30 08:07 これはすごい!!
画像解析の世界もこれから楽しみですねー。

金 2009/06/30 09:45 北朝鮮も大喜び!

tettou77-1tettou77-1 2009/07/01 16:50 信じられない!
というか、とりあえず笑った!

アイデアがすごいのか技術がすごいのか、両方すごいのか…。

関連エントリ関連エントリ 2012/06/22 21:48 第二言語習得理論の本にもバイリンガル環境の危険性が書いてあるが、多くのバイリンガルに言語能力の問題がある。メインの言語を持たないせいで、言語能力が子供レベルになるという。上のハーフもそういった人間性を、悪く言えば、破壊された一人でしょう。

RondaRonda 2012/12/20 17:17 画像解析の世界もこれから楽しみですねー

TommyTommy 2013/02/22 15:56 というか、とりあえず笑った!

pennywiselikepennywiselike 2013/05/10 17:31 はてなブックマークからきました

とても参考になりました

ありがとうございます

celladorsaikoucelladorsaikou 2013/05/11 01:10 なるほど

参考になりました

他の記事も拝見させていただきます

ありがとうございます

Obat herbal kistaObat herbal kista 2013/11/07 18:14 it's so cool

Driving School New DelhiDriving School New Delhi 2013/11/09 19:50 画像解析の世界もこれから楽しみですねー

Safe Casino WatchSafe Casino Watch 2014/01/24 20:39 させていただきますさせていただきます

Fun Casino GamesFun Casino Games 2014/01/26 18:03 うございます

frivfriv 2015/09/11 17:34 アハハ これは簡単でとっても美味しいですので、 お酒のつまみとしてもオススメですよ~~.

mahjongfreegamesonlinemahjongfreegamesonline 2015/11/05 17:14 North Korea so cool.

pacman256 pacman256 2015/11/10 12:02 結果は、私が今知っている驚くべきことをしています

piano tilespiano tiles 2015/11/19 15:57 Thank you for the information you provide. I had a look to start my own. Thanks so much. I like play games <a href="http://pianotiles2.com/">Piano Tiles 2</a> online and play <a href="http://dreamleaguesoccer.net/">Dream League Soccer</a> games and <a href="http://scorehero.net/">Score Hero game</a> is one of those football games that cuts the beautiful game into tiny little snatches. Those little moments in each match that change the outcome one way or another.

bananakongbananakong 2015/11/25 17:17 なるほど

参考になりました

他の記事も拝見させていただきます

ありがとうございます

Strike Force Heroes 3Strike Force Heroes 3 2015/12/02 16:21 <a href=http://donkeykongfree1.wordpress.com>Donkey Kong</a>
<a href= https://plus.google.com/u/0/+HappyWheels3game>Happy Wheels 3</a>

Donkey KongDonkey Kong 2015/12/02 16:25 I found lots of interesting information here.Great work. The post was professionally written and I feel like the author has extensive knowledge in this subject. Nice post.
http://strikeforceheroes3game.tumblr.com/
https://plus.google.com/u/0/+HappyWheels3game

Happy Wheels 3Happy Wheels 3 2015/12/02 16:28 Great! Thanks for sharing the information. That is very helpful for increasing my knowledge in this field.
[URL="https://plus.google.com/+StrikeForceHeroes3game"]Strike Force Heroes 3[/URL]

HappyWheelsGameHappyWheelsGame 2015/12/08 18:34 それは技術が非常に洗練された美しい他の時間を持っていることは事実です。将来的にはより多くの美しい写真があることを願っています。この記事を共有していただきありがとうございます。<a href="https://www.pinterest.com/happywheelsfull/">Happy Wheels Full</a> | <a href ="https://www.pinterest.com/pacmangame1/">pac man 256</a>

Happy Wheels FullHappy Wheels Full 2015/12/08 18:46 記事を与えるためにありがとうと記事は、非常に驚くべきでした。

akibat mata silinderakibat mata silinder 2015/12/14 18:28 将来的にはより多くの美しい写真があることを願っています。

super nutritionsuper nutrition 2015/12/28 09:38 I agree with you. This post is truly inspiring. I like your post and everything you share with us is current and very informative, I want to bookmark the page so I can return here from you that you have done a fantastic job

Juegos de BarbieJuegos de Barbie 2016/01/14 20:48 それは非常に簡単です、私はお勧め

KiziKizi 2016/02/01 18:38 Play Games Flash Online From Kizi

gunbloodgunblood 2016/02/07 20:09 I enjoyed over read your blog post. Your blog have nice information, I got good ideas from this amazing blog. I am always searching like this type blog post. I hope I will see again

gunbloodgunblood 2016/02/07 20:10 I enjoyed over read your blog post. Your blog have nice information, I got good ideas from this amazing blog. I am always searching like this type blog post. I hope I will see again

al3ab sayaratal3ab sayarat 2016/02/28 10:36 Thank you my best friend is good job my friend very nice.

obat sakit pinggang terbaikobat sakit pinggang terbaik 2016/03/07 18:31 I enjoyed over read your blog post. Your blog have nice information, I got good ideas from this amazing blog. I am always searching like this type blog post. I hope I will see again

オンラインfireboyとwatergirlオンラインfireboyとwatergirl 2016/03/11 02:52 私は以上のあなたのブログの記事を読んで楽しみました。あなたのブログは、素敵な情報を持っています

abboseoabboseo 2016/03/27 21:23 The website is looking bit flashy and it catches the visitors eyes. Design is pretty simple and a good user friendly interface.

ToomToom 2016/03/28 18:54 Nice to be visiting your blog again, it has been months for me. Well this article that i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

ToomToom 2016/03/28 18:54 Nice to be visiting your blog again, it has been months for me. Well this article that i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

jerryjerry 2016/04/13 15:22 北朝鮮も大喜び!

tattoo ideastattoo ideas 2016/04/14 09:52 Thank you for good share !!!

https://sites.google.com/site/best3weekdiet/ 3 week diet

https://sites.google.com/site/tattooideas99/ tattoo ideas

girls gamesgirls games 2016/05/01 19:43 Great article and cool !

Obatl Patah TulangObatl Patah Tulang 2016/05/20 16:22 Nice to be visiting your blog again, it has been months for me. Well this article that i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

Perman AndiPerman Andi 2016/05/24 13:38 Glad to be able to read articles on your site, I wait for the newest articles. <a href="http://www.obatgondokplus.com/2015/07/obat-kanker-mata-herbal.html"><b>Obat Kanker Mata Herbal</a></b>

mata lelah dan ngantukmata lelah dan ngantuk 2016/05/25 11:53 Nice to be visiting your blog again, it has been months for me. Well this article that i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

games unblockedgames unblocked 2016/05/29 23:12 play here unblocked games online !!

Programs DownloadPrograms Download 2016/06/01 11:29 The Website Is Looking Bit Flashy And It Catches The Visitors Eyes. Design Is Pretty Simple And A Good User Friendly Interface.

al3abal3ab 2016/06/13 09:35 Great thank you

Baixar facebookBaixar facebook 2016/06/28 16:31 I also want to learn to edit photos but need good at drawing

Baixar sonic dashBaixar sonic dash 2016/06/29 13:22 I find this very interesting job, change the world

flash gamesflash games 2016/06/30 16:59 I find this very interesting job, change the world

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

トラックバック - http://d.hatena.ne.jp/LM-7/20090629/1246282979