Hatena::ブログ(Diary)

A Successful Failure このページをアンテナに追加 RSSフィード Twitter


2010年9月12日付でライブドアブログに引っ越しました。
新URLはhttp://blog.livedoor.jp/lunarmodule7/になります。
これからもどうぞよろしくお願い致します。



2009-06-29

Web上の膨大な画像に基づく自動画像補完技術の威力

画像内に映り込んだ所望のオブジェクトを排除し、違和感の無い画像を生成するシーン補完技術に関しては近年複数の研究成果が発表されている。しかし中でも2007年のSIGGRAPHにて米カーネギメロン大のJames HaysとAlexei A. Efrosが発表した手法*1はブレークスルーとなりうる画期的なものだ。

論より証拠、早速適用例を見てみよう。本エントリで利用する画像はPresentationからの引用である。元画像の中から邪魔なオブジェクト等の隠蔽すべき領域を指定すると、その領域が補完された画像が自動的に生成される。

f:id:LM-7:20090629065106j:image

アルゴリズム

効果は抜群だがアイデア自体は単純なものだ。Web上には莫大な数量の画像がアップされており、今や対象となる画像の類似画像を一瞬にして大量に検索することができる。そこで、検索された類似画像で隠蔽領域を完全に置き換えてしまうことで違和感の無い補完画像を生成するのだ。

f:id:LM-7:20090629065107j:image

研究グループではFlickrより230万枚の画像をダウンロードし検索用データベースを構築した。gist scene descriptor*2,*3による特徴量に基づき、データベースから瞬時に対象画像の類似画像を検索する(99.99%の関係のない画像は前段階で切り捨てられる)。検索上位200件の類似画像に対し、位置合わせ処理、ブレンディング処理を行い、1)シーンの適合度、2)コンテキストマッチング適合度(色+テクスチャ)、3)グラフカットコストに基づき、スコアを算出し、上位の20結果をユーザに提示する(下図)。

f:id:LM-7:20090629065108j:image

画像が小さいので大きめの画像を4点示す。人物の写っている写真などは明らかにスケールがおかしいが、概ね違和感なく補完されていることが分かる。

f:id:LM-7:20090629065109j:image

実施例

海の風景という比較的均一なテクスチャの画像は比較的補完が簡単である印象を受ける。次にせっかくの観光写真に写り込んだ邪魔なバスを消す実施例を挙げる。これをPhotoshopなどで行うのはなかなか骨が折れる作業に違いない。

f:id:LM-7:20090629065110j:image

補完結果は次の通りだ。いずれの写真も元の風景からは完全に違うものになっている。ただし、その場所を知っている人が見れば写真の違和感に気付くだろうが、知らない人が見てもこれが自動的に補完されたものだとは気付かないだろう。

f:id:LM-7:20090629065111j:image

続いて実例を挙げていく。左から元画像、隠蔽領域指定、補完画像である。3例目の写真は日本の七五三祭りの様子が合成され、国が変わってしまっているが、この写真を単体で見ると日本人には何の違和感もない。クレーンや工事中の建物など、景観を乱す建築物やオブジェクトを違和感なく消し去ることができていることが解るだろう。

f:id:LM-7:20090629065114j:image

20人の被験者による主観評価によれば、テストケースの補完画像の内37%が本物と見分けが付かなかった。判断時間を10秒に限定すれば実に66%が本物と認識されたという。これは従来の補完アルゴリズムと比べれば極めて高い値だ。

続いて失敗例を示す。1例目は人工的な建物に同じ色合いの自然の岩肌を合成した結果ファンタジックな地形となってしまっている。2例目は人物は綺麗に消えているが、路面のテクスチャが境界の左右で異なってしまっている。3例目は自動車が綺麗に消えて一見違和感がないが、右側の男性の下半身が消えてしまって心霊写真のようだ。

f:id:LM-7:20090629065115j:image

こうした失敗はあるものの、20件候補が提示されれば、1枚は成功画像が見つかるだろう。この技術を応用すれば、画像の不必要な部分を指定するだけで、違和感なく画像を補完することがワンタッチで出来るようになるだろう。論文によれば当初1万枚の画像データベースで試した時には生成画像の品質は失望させられるものだったが、データベースを200万枚まで増やすと品質が飛躍的に向上したという。Web上にアップされる画像の総数は日々増加しているのだから(Flickrへの投稿画像は昨年30億枚を突破している)、それらを上手く活用することが出来ればより品質の高い補完画像を得ることが出来るだろう。数年の内にはこのアプローチによる画像補完機能をもつアプリケーションが一般的になるかもしれない(大量のコラ画像が溢れる状況が容易に想像できるが……)。

Web上のリソースを用いて、コンテンツを補完するアイデアは他にも応用が利く。たとえば、ATOKダイレクトではWeb上の情報に基づく予測変換によりユーザのテキスト入力を支援している。現在は単語レベルの補完に留まっているが、将来的にはWeb上の大量のコーパスからコンテキストにあった文章を補完するような入力支援が実用化されるだろう。Google検索によるコピペが動的に行われるようなものだ。

画像に限らず、音楽や動画などよりリッチなメディアの補完についても研究が進むと思われる(動画像の補完は計算量が爆発するから一工夫必要そうだが)。さらに同一種類のコンテンツの補完に留まらず、小説に画像やBGMを自動的に付与するなどメディアを越えた補完・融合も実現するだろう。あらゆるコンテンツはネットの向こう側にある膨大なコンテンツ群により補完、拡張されるようになるに違いない。

論文の最後で著者らは、目に見える全ての実世界を充分によく似た別の画像で置き換えることは可能かどうか考察し、それはおそらく可能であり、かつ、それに必要な画像の総数はそれほど大きくはならないだろうと推測している。目で見て感じること全てがリアルとバーチャルの区別が付かないほど自然に融合した拡張世界が現実になる日は案外近いのかも知れない。

関連エントリ

*1Hays, J. and Efros, A.A.: Scene Completion Using Millions of Photographs, ACM Transactions on Graphics (SIGGRAPH 2007), Vol.26, No.3 (Aug. 2007)

*2:Torralba, A., Murphy, K. P., Freeman, W. T., and Rubin, M. A. 2003. Context-based vision system for place and object recognition. In ICCV.

*3:Torralba, A., Fergus, R., and Freeman, W. T. 2007. Tiny images. Tech. Rep. MIT-CSAIL-TR-2007-024.

shingotadashingotada 2009/06/30 08:07 これはすごい!!
画像解析の世界もこれから楽しみですねー。

金 2009/06/30 09:45 北朝鮮も大喜び!

tettou77-1tettou77-1 2009/07/01 16:50 信じられない!
というか、とりあえず笑った!

アイデアがすごいのか技術がすごいのか、両方すごいのか…。

関連エントリ関連エントリ 2012/06/22 21:48 第二言語習得理論の本にもバイリンガル環境の危険性が書いてあるが、多くのバイリンガルに言語能力の問題がある。メインの言語を持たないせいで、言語能力が子供レベルになるという。上のハーフもそういった人間性を、悪く言えば、破壊された一人でしょう。

RondaRonda 2012/12/20 17:17 画像解析の世界もこれから楽しみですねー

TommyTommy 2013/02/22 15:56 というか、とりあえず笑った!

pennywiselikepennywiselike 2013/05/10 17:31 はてなブックマークからきました

とても参考になりました

ありがとうございます

celladorsaikoucelladorsaikou 2013/05/11 01:10 なるほど

参考になりました

他の記事も拝見させていただきます

ありがとうございます

Obat herbal kistaObat herbal kista 2013/11/07 18:14 it's so cool

Driving School New DelhiDriving School New Delhi 2013/11/09 19:50 画像解析の世界もこれから楽しみですねー

Safe Casino WatchSafe Casino Watch 2014/01/24 20:39 させていただきますさせていただきます

Fun Casino GamesFun Casino Games 2014/01/26 18:03 うございます

frivfriv 2015/09/11 17:34 アハハ これは簡単でとっても美味しいですので、 お酒のつまみとしてもオススメですよ~~.

mahjongfreegamesonlinemahjongfreegamesonline 2015/11/05 17:14 North Korea so cool.

pacman256 pacman256 2015/11/10 12:02 結果は、私が今知っている驚くべきことをしています

piano tilespiano tiles 2015/11/19 15:57 Thank you for the information you provide. I had a look to start my own. Thanks so much. I like play games <a href="http://pianotiles2.com/">Piano Tiles 2</a> online and play <a href="http://dreamleaguesoccer.net/">Dream League Soccer</a> games and <a href="http://scorehero.net/">Score Hero game</a> is one of those football games that cuts the beautiful game into tiny little snatches. Those little moments in each match that change the outcome one way or another.

bananakongbananakong 2015/11/25 17:17 なるほど

参考になりました

他の記事も拝見させていただきます

ありがとうございます

Strike Force Heroes 3Strike Force Heroes 3 2015/12/02 16:21 <a href=http://donkeykongfree1.wordpress.com>Donkey Kong</a>
<a href= https://plus.google.com/u/0/+HappyWheels3game>Happy Wheels 3</a>

Donkey KongDonkey Kong 2015/12/02 16:25 I found lots of interesting information here.Great work. The post was professionally written and I feel like the author has extensive knowledge in this subject. Nice post.
http://strikeforceheroes3game.tumblr.com/
https://plus.google.com/u/0/+HappyWheels3game

Happy Wheels 3Happy Wheels 3 2015/12/02 16:28 Great! Thanks for sharing the information. That is very helpful for increasing my knowledge in this field.
[URL="https://plus.google.com/+StrikeForceHeroes3game"]Strike Force Heroes 3[/URL]

HappyWheelsGameHappyWheelsGame 2015/12/08 18:34 それは技術が非常に洗練された美しい他の時間を持っていることは事実です。将来的にはより多くの美しい写真があることを願っています。この記事を共有していただきありがとうございます。<a href="https://www.pinterest.com/happywheelsfull/">Happy Wheels Full</a> | <a href ="https://www.pinterest.com/pacmangame1/">pac man 256</a>

Happy Wheels FullHappy Wheels Full 2015/12/08 18:46 記事を与えるためにありがとうと記事は、非常に驚くべきでした。

akibat mata silinderakibat mata silinder 2015/12/14 18:28 将来的にはより多くの美しい写真があることを願っています。

super nutritionsuper nutrition 2015/12/28 09:38 I agree with you. This post is truly inspiring. I like your post and everything you share with us is current and very informative, I want to bookmark the page so I can return here from you that you have done a fantastic job

Juegos de BarbieJuegos de Barbie 2016/01/14 20:48 それは非常に簡単です、私はお勧め

KiziKizi 2016/02/01 18:38 Play Games Flash Online From Kizi

gunbloodgunblood 2016/02/07 20:09 I enjoyed over read your blog post. Your blog have nice information, I got good ideas from this amazing blog. I am always searching like this type blog post. I hope I will see again

gunbloodgunblood 2016/02/07 20:10 I enjoyed over read your blog post. Your blog have nice information, I got good ideas from this amazing blog. I am always searching like this type blog post. I hope I will see again

al3ab sayaratal3ab sayarat 2016/02/28 10:36 Thank you my best friend is good job my friend very nice.

obat sakit pinggang terbaikobat sakit pinggang terbaik 2016/03/07 18:31 I enjoyed over read your blog post. Your blog have nice information, I got good ideas from this amazing blog. I am always searching like this type blog post. I hope I will see again

オンラインfireboyとwatergirlオンラインfireboyとwatergirl 2016/03/11 02:52 私は以上のあなたのブログの記事を読んで楽しみました。あなたのブログは、素敵な情報を持っています

abboseoabboseo 2016/03/27 21:23 The website is looking bit flashy and it catches the visitors eyes. Design is pretty simple and a good user friendly interface.

ToomToom 2016/03/28 18:54 Nice to be visiting your blog again, it has been months for me. Well this article that i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

ToomToom 2016/03/28 18:54 Nice to be visiting your blog again, it has been months for me. Well this article that i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

jerryjerry 2016/04/13 15:22 北朝鮮も大喜び!

tattoo ideastattoo ideas 2016/04/14 09:52 Thank you for good share !!!

https://sites.google.com/site/best3weekdiet/ 3 week diet

https://sites.google.com/site/tattooideas99/ tattoo ideas

girls gamesgirls games 2016/05/01 19:43 Great article and cool !

Obatl Patah TulangObatl Patah Tulang 2016/05/20 16:22 Nice to be visiting your blog again, it has been months for me. Well this article that i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

Perman AndiPerman Andi 2016/05/24 13:38 Glad to be able to read articles on your site, I wait for the newest articles. <a href="http://www.obatgondokplus.com/2015/07/obat-kanker-mata-herbal.html"><b>Obat Kanker Mata Herbal</a></b>

mata lelah dan ngantukmata lelah dan ngantuk 2016/05/25 11:53 Nice to be visiting your blog again, it has been months for me. Well this article that i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

games unblockedgames unblocked 2016/05/29 23:12 play here unblocked games online !!

Programs DownloadPrograms Download 2016/06/01 11:29 The Website Is Looking Bit Flashy And It Catches The Visitors Eyes. Design Is Pretty Simple And A Good User Friendly Interface.

al3abal3ab 2016/06/13 09:35 Great thank you

Baixar facebookBaixar facebook 2016/06/28 16:31 I also want to learn to edit photos but need good at drawing

Baixar sonic dashBaixar sonic dash 2016/06/29 13:22 I find this very interesting job, change the world

flash gamesflash games 2016/06/30 16:59 I find this very interesting job, change the world

friv gamefriv game 2016/07/24 02:35 I really enjoyed reading this post, big fan. Keep up the good work andplease tell me when can you publish more articles or where can I read more on the subject?

super mariosuper mario 2016/07/24 02:36 I really enjoyed reading this post, big fan. Keep up the good work andplease tell me when can you publish more articles or where can I read more on the subject?

KollyKolly 2016/07/31 19:42 させていただきますさせていただきます

obat encokobat encok 2016/08/22 13:38 PCエンジンおしゃれ計画 - Web上の膨大な画像に基づく自動...

harga gastric health tabletharga gastric health tablet 2016/08/29 16:19 <a href="http://www.hargagastric.qncjellygamat.info/">Harga Gastric Health Tablet</a>

obat asam lambung terbaikobat asam lambung terbaik 2016/09/02 17:34 What's new? Just about everything, including a new admin interface, easier module installation, flexible content fields,

Douchebag workout 2Douchebag workout 2 2016/09/06 16:11 I would like more information about this, because it is very nice. Thanks for sharing.

obat polip hidung di apotikobat polip hidung di apotik 2016/09/07 01:01 fsdfasdfasfsadfasdfasdf

yuliyuli 2016/09/13 15:33 Thanks for the best blog. it was very useful for me. keep sharing such ideas in the future as well. this was actually what i was looking for,and i am glad to came here!
<a href="http://bit.ly/2cTl33b">Cara Menyembuhkan Batuk Bronkitis</a>
<a href="http://bit.ly/2bsv6zp">Cara Tepat Dalam Mengatasi Bopeng Bekas Jerawat</a>
<a href="http://bit.ly/2bELMR0">Cara Memperkeras Ereksi Dan Tahan Lama</a>

obat jantung bocor tradisionalobat jantung bocor tradisional 2016/09/15 15:19 wowww mantep brooo... jazakalloh khairrrr

skawnaskawna 2016/09/20 06:12 thank you for this topic

http://www.all3abbanat.com

skawnaskawna 2016/09/20 06:14 <a href="http://www.all3abbanat.com
">العاب بنات</a>

banat gamesbanat games 2016/09/27 15:24 thanks for sharing

FrivFriv 2016/09/28 13:52 Thanks Its really amazing

FrivFriv 2016/09/28 13:52 Thanks Its really amazing

wingsiowingsio 2016/09/28 20:04 Wings io

obat strokeobat stroke 2016/10/05 13:09 Great

obat luka diabetesobat luka diabetes 2016/10/06 17:22 That time my website is getting better response from all over the world.

Jogos OnlineJogos Online 2016/10/12 04:50 thank you for this topic

Click Jogos - FrivClick Jogos - Friv 2016/10/16 06:23 thank you for this topic

FrivFriv 2016/10/23 08:53 なるほど

参考になりました

他の記事も拝見させていただきます

ありがとうございます

ciri dan gejala rematikciri dan gejala rematik 2016/11/02 14:12 I am trying to write new article content for my site. hyperlink And looking for an inspiration; I am happy to say I have been inspired by your article. Thank you for this wonderful post.

taitawebtaitaweb 2016/11/09 19:17 thanks for sharing

j33xj33x 2016/11/09 20:06 参考になりました

hguhfhguhf 2016/11/10 18:52 North Korea so cool.

GulfupGulfup 2016/11/20 23:34 I am trying to write new article content for my site. hyperlink And looking for an inspiration; I am happy to say I have been inspired by your article. Thank you for this wonderful post. https://up.harajgulf.com/

m-b-c-4m-b-c-4 2016/11/20 23:36 thanks for sharing

m-b-c-4m-b-c-4 2016/11/20 23:38 thanks for sharing,,,
xn----zmcphmg2jlbc7d.com

madu untuk lambungmadu untuk lambung 2016/11/21 16:38 Nice to be visiting your blog again, it has been months for me. Well this article that i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

cara membuat detox lemoncara membuat detox lemon 2016/12/05 11:37 i’ve been waited for so long. I need this article to complete my assignment in the college, and it has same topic with your article. Thanks, great share.

koloklin capsulekoloklin capsule 2016/12/08 09:55 The module provides a block where a user can enter his age and gender (since Drupal does not have this information) and then enter a webcam chat room exclusive to the sites domain name (not the individual Drupal installation).

Jogos OnlineJogos Online 2016/12/14 01:06 Estive esperei por tanto tempo. Eu preciso deste artigo para completar a minha missão no College, e tem mesmo tópico com o seu artigo. Obrigado, Grande Share.

obat koreng di kepalaobat koreng di kepala 2016/12/26 15:08 <a href="http://tasikherbal.com/2016/12/obat-korengan-di-kepala/">Obat Korengan Di Kepala</a>

192.168.1.1192.168.1.1 2017/01/15 03:02 Eu preciso deste artigo para completar a minha missão no College, e tem mesmo tópico com o seu artigo. Obrigado, Grande Share.

obat asam lambung herbalobat asam lambung herbal 2017/01/16 18:09 There are a number of other modules that attempt to perform some kind of redirection based on paths. Page manager redirect is different because it can leverage the ctools context system to gather all sorts of useful information from the original URL to construct the redirection URL with. Genius!

netawygames1netawygames1 2017/01/18 08:11 I find this very interesting job, change the world

ISK Pada WanitaISK Pada Wanita 2017/02/04 11:39 http://www.masterherbal.biz/obat-tradisional-infeksi-saluran-kencing-pada-wanita/

harga jelly gamat qncharga jelly gamat qnc 2017/02/08 16:57 e kind of redirection based on paths. Page manager redirect is d

agis herbalagis herbal 2017/02/16 18:42 some kind of redirection based on paths. Page manager redirect is different because it can leverage the ctools context system to gather all sorts of useful information from the original URL to

obat asam lambungobat asam lambung 2017/02/20 14:43 ect is different because it can leverage the ctools context system to

Obat herpesObat herpes 2017/02/22 23:18 Website this is very very good

qnc jelly gamatqnc jelly gamat 2017/03/07 15:14 bali is beatiful palce

alat penggeli wanitaalat penggeli wanita 2017/03/10 13:51 alat wanita

levitra aslilevitra asli 2017/03/10 13:53 obat kuat levitra asli

obat kuat cialis 100mgobat kuat cialis 100mg 2017/03/10 13:56 obat cialis 100mg

obat gangguan pencernaanobat gangguan pencernaan 2017/03/11 10:53 Install it as usual. Edit the shopping cart, the checkout and the order admin view and add the attribute field. There you can specify if a link to the product is displayed or not.

cream liyoskincream liyoskin 2017/03/14 13:46 pengaruh globalisasi sudah semakin kuat terasa pada tubuh terutama pada wajah yang berkulit kering dan kusam dimana jika terkena radiasi matahari akan berdampak cukup berat wajah

BasharBashar 2017/03/23 00:30 You wrote a very Good article here..

liyoskinliyoskin 2017/03/27 14:04 cream wajah untuk menghilangkan flek hitam membandel selain mencerahkan dan memutihkan…

Obat Nyeri LututObat Nyeri Lutut 2017/04/08 10:52 verry nice article

cream wajah liyoskincream wajah liyoskin 2017/04/12 12:28 rukun selalu

cream buat remajacream buat remaja 2017/04/18 15:27 <a href='http://www.cepatkirim.com' title='cream pemutih wajah' rel='nofollow'>cream pemutih wajah paling aman</a>

agen liyoskinagen liyoskin 2017/04/29 14:47 http://www.jamkhoobatherbal.com/agen-jamkho-pamanukan-subang/
http://www.agenyashodara.obatjamkho.com/2017/04/28/jual-liyoskin-di-tanggerang/

cream pemutih wajahcream pemutih wajah 2017/05/02 14:45 http://www.cepatkirim.com/cream-pemutih-mengencangkan-kulit/
http://www.cepatkirim.com/cream-pemutih-wajah-halal-aman/
http://www.cepatkirim.com/pemutih-cocok-kulit-bruntusan/
http://www.cepatkirim.com/video-tentang-cream-liyoskin/

RichardRichard 2017/05/10 02:30 I merely need to let you know that I'm new to weblog and undoubtedly appreciated this weblog web site. Very possible I’m going to bookmark your weblog . You completely have fantastic tales. Cheers for sharing with us your weblog.

abcyaabcya 2017/05/12 13:09 Interesting article! Thank you for sharing them! I hope you will continue to have similar posts to share with everyone! I believe a lot of people will be surprised to read this article!

gamegame 2017/05/12 18:37 You wrote a very Good article here..

programsprograms 2017/05/12 18:37 some kind of redirection based on paths. Page manager redirect is different because it can leverage the ctools context system to gather all sorts of useful information from the original URL to

fanooofanooo 2017/05/12 18:38 I find this very interesting job, change the world

penghilang flek hitampenghilang flek hitam 2017/05/13 13:05
http://bintikhitamdiwajah.blogspot.co.id/2017/05/cream-penghilang-flek-hitam-paling.html
http://agenjamkho.blogspot.co.id/2017/05/agen-jamkho-sragen.html
http://zukacream.blogspot.co.id/2017/05/cream-liyoskin-untuk-semua-umur.html

happy wheelshappy wheels 2017/05/15 18:54 Thanks for your post! I believe there are many who feel the same satisfaction as I read this article! I hope you will continue to have such articles to share with everyone!

SumraSumra 2017/05/16 11:31 Page manager redirect is different because it can leverage the ctools context system to gather all sorts of useful information Thanks a lot

Total CollegesTotal Colleges 2017/05/16 11:32 Great Information in this article, Thanks

Direct AdmissionDirect Admission 2017/05/16 11:32 Good Information share with us, Thanks

hair transplanthair transplant 2017/05/16 18:14 Interesting article! Thank you for sharing them! I hope you will continue to have similar posts to share with everyone! I believe a lot of people will be surprised to read this article!

penghilang jerawat ampuhpenghilang jerawat ampuh 2017/05/17 12:49 enyalah sensitif

liyoskinliyoskin 2017/05/20 11:26 http://www.liyoskin.cepatkirim.com/
http://www.liyoskin.cepatkirim.com/2017/05/18/cream-liyoskin-pemutih-wajah-bagus/

eye care softgeleye care softgel 2017/05/23 09:30 Web上の画像に基づく自動画像補完技術、PS3でPS2ソフトを動作させる...

FrivFriv 2017/05/25 14:00 amazing

frivfriv 2017/05/25 17:02 gaming supplies a podium that will be certainly very recollective in terms of creating a person jump into the world of gambling.
The greatest advantage of Friv Games that are online is that the user has a variety of activities from which are absent at a click of the second,
at drops that are equal to pick. Many people are aware of the fact individuals commonly do not employ 100% of these brain function.
Games like questions, logic-based trivia, games and problem solving games help brain function.

liyoskinliyoskin 2017/05/27 11:34 http://www.liyoskin.cepatkirim.com/2017/05/27/cream-pengecil-pori-besar/

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

トラックバック - http://d.hatena.ne.jp/LM-7/20090629/1246282979