Hatena::ブログ(Diary)

Wataru’s Blog RSSフィード Twitter

2010-01-09

AVATAR製作時、その超巨大データはどのように大陸間転送されたか？

技術

3D映画として現在大ヒットを飛ばしているAVATAR。私の周りでも凄く話題になっていて、IMAXを持つ映画館に近いうちに見に行きたいと思っています。

本日は、AVATAR製作時に使われたITシステムの話を、ご紹介したいと思います。

34ラックという、驚きの超巨大システム

AVATARのデータ総容量は、何と、3PB(ペタバイト)!もの大きさだったそうです。毎週、ときには日ごとに数TB(テラバイト)ものデータが出来る上に、それらを色々なフォーマットで保存しなければならないためだそうです。

これだけのデータを処理するために、ITシステムのラック総数は何と34本、そして各ラックには32台のサーバが搭載され、プロセッサ総数は40,000、メモリ合計は104TBに達したそうです。しかも、全てのサーバが10GbEで接続されていたとのこと。

とてつもなく巨大なシステムですね。ここまで来ると小規模なスパコンを作るのに近いかもしれません。システムの運用だけでとても苦労したであろうことが容易に想像できます。

データの大陸間転送に苦しむ

そして、更に製作を難しくした点は、3D映像の撮影スタジオ（ロサンゼルス）と画像のCGIレンダリングを行う会社（ニュージーランド）が地理的にかなり離れていたことだったそうです。映像データはロサンゼルスからニュージーランドに逐次送られる必要があり、ここで大変な苦労をしたようです。(上記ITシステムはニュージーランドに建設されたそうです)

製作チームは、当初、データ転送にFTPを使っていたそうです。しかし、FTPの下でトランスポートプロトコルとして使われるTCPは、ターンアラウンドタイムの大きい状況ではネットワークの帯域をうまく使い切れないという弱点を持っています。例えば、パケットロスが発生するとウィンドウサイズが小さくなり、スループットが落ちてしまうなどの問題があります。

そのため、このような大陸間転送のケースでは、FTPはスループットを全然出せなかったようです。しょうがなく、製作チームは物理的なデータ搬送を併用して何とか凌いでいたとのこと。しかし、物理的なデータ搬送はタイムラグなどから使い勝手はよくなく、ベストな解とは言えません。

FASPによるスループットの改善

そのような問題を解決したのが、Aspera社のFASPという製品だったそうです。FASPは、トランスポート層にTCPの代わりにUDPを使い、その上のアプリケーション層でパケットロスを管理する仕組みにしているそうです。TCPとは異なり、パケットロスがある状況下でもウィンドウサイズを大きく保ち、ロストパケットだけをうまく再送するような仕組みになっているそうです。

このケースでは、FTPの15〜30倍のスループットをたたき出したとのこと。

FASPはターンアラウンドタイムが長くてもスループットは落ちないようです。以下はAspera社のサイトから引用させて頂いた画像です(画像ソース)。

f:id:w_katsura:20100109224045g:image

ゲーム業界や映像業界などでは同じような悩みを抱えているケースがありそうで、面白い製品だと思いました。また、一般企業に対しても、クラウドが浸透するにあたり、先日の記事で紹介したようにWANを効率よく利用する技術は、ますます重要になっていくような気がします。

ソース記事

The Avatar storage effect ? The Register

Processing AVATAR - Information Management Newsletters Article

関連記事

AsperaはiPhoneのデータ転送を劇的に改善するかも―3Gだと3倍、無線LANだと10-100倍の速度とのこと - Wataru’s Blog

WAN Optimization for Cloud Computing - Wataru’s Blog

Amazonクラウドへのファイル高速転送 - Wataru’s Blog

人気エントリが生まれる際のTweetの増え方を分析してみた - Wataru’s Blog ※本記事が多くのTweetをどう集めたかの分析です

追記

※Publickeyさんでも解説記事が出たようです

Permalink | コメント(9) | トラックバック(9)

コメントを書く

w_katsuraw_katsura 2010/01/12 13:04 Twitter に、以下のようなコメントをいただきました。

@__ciruzzo__ : へえーーFTPの15-30倍。そういうことってあるんですね。RT @w_katsura New blog entry: AVATAR製作時、その超巨大データはどのように大陸間転送されたか？ http://d.hatena.ne.jp/w_katsura/20100109/p1

@kunisuzaki : Aspera社のFASPでFTPの15〜30倍ですか。面白い RT @w_katsura New blog entry: AVATAR製作時、その超巨大データはどのように大陸間転送されたか？ http://d.hatena.ne.jp/w_katsura/20100109/p1

@t_u : すべて10GbEとは(汗) RT @w_katsura New blog entry: AVATAR製作時、その超巨大データはどのように大陸間転送されたか？ http://bit.ly/4REnCn (via @KuniSuzaki)

@ehykw : 面白い．自分にはこれだけ大きな実データとニーズがないのが悔しくもある． RT @w_katsura: New blog entry: AVATAR製作時、その超巨大データはどのように大陸間転送されたか？ http://bit.ly/91aEbF

w_katsuraw_katsura 2010/01/12 13:09 その後の kunisuzaki さんとのディスカッションです。

@kunisuzaki : AVATARではなぜFdexing(Fedexで物理データデバイス送ること)しなかったのだろう？Amazonでも物理媒体を受け付ける Inport/Export サービスがあります。 http://aws.amazon.com/importexport/

@w_katsura : @KuniSuzaki HDDの物理的搬送も当初はやっていたそうです。ただ、作業時間がかかること、搬送時間が長いこと、HDD障害が起こることなどの問題から、オンラインでの転送手段の方が（スループットがでるのなら）使い易かったようです。

@kunisuzaki : これは逆な知見で面白いです RT @w_katsura HDDの物理的搬送も当初はやっていたそうです。ただ、作業時間がかかること、搬送時間が長いこと、HDD障害が起こることなどの問題から、オンラインでの転送手段の方が（スループットがでるのなら）使い易かったようです。

jniinojniino 2010/01/12 15:10 TBありがとうございます！ このネタはいろんな切り口があって興味深いですね。今後ともどうぞよろしくおねがいします。

w_katsuraw_katsura 2010/01/12 15:22 jniinoさん、いつも、記事楽しみに見ています。
こちらこそよろしくお願いします。

takkatakka 2010/01/13 05:50 isilonのiの字くらいは紹介してほしいなあって思ったり。。

アロンアロン 2010/01/14 00:44 何故SCTP使わないんでしょうかね。
ダメなんですかね。
その辺りの突っ込みが欲しいところ。

通り菅野通り菅野 2010/01/22 00:21 アスペラ社のあれですか。FASP偶然見つけた時、某日本代理店さんに興奮しながら仕事の合間にメールしたの思い出すな。
送られてきた価格表見て（ ゜д゜）ポカーンなったのも何も懐かしい。
こいつが将来、特許切れになって世の中に広まったら世界はどうなるのかちょっと楽しみ。

mmtmmt 2010/03/05 19:27 どもです。
自分が直接利用しているわけではないですが、業務上、DVD、BDのイメージファイルの転送にこの手のソフト使ってますね。エンターテイメントコンテンツではゴールが未定な為、下手すると数時間後には新規イメージの配布をしなければならないことがある為、その後の修正が無いファイナル版でも無い限り飛行機使ったスニーカーネットは使いづらいです。
AVATARでもエフェクトイメージの模索フェーズでは同じ事情かと思われます。

ちなみにフリーの実装はこの辺で。データ転送に暗号がかかって無いので、気にする人には不向きですが、scpとコマンド互換なので色々便利です。
https://ccportal.ims.ac.jp/software/hscp

高速TCP改に関しては、途中経路でどう扱われるかいまいち不安なのと、現状では転送アプリケーションの改造＆テストが必要なので、だったら買った方が早いという判断に成りがちです。
http://www.mickey.ai.kyutech.ac.jp/~ipsj/event/sympo2009/papers/papers/id010.pdf

sugipoohsugipooh 2010/03/22 19:15 日本には　デジ急便があります。http://digivery.jp/app/
FASPもUDPを使ってマルチセッションで送っているかと思います。
ちがうかな？
日本から英国・中国の僻地などにFTPではセッションタイムアウト
するような時に実力を発揮します。
日本では宅配便でDVDを送るとかNTTを始めバックボーンが速いので
私は売れなかったです。
ソフトイーサーの名前で有名なPacketiX VPNも同じ構造です。
10年以上前に米軍が開発し、MPEGでリモート手術に使ったプロトコル
ともうわさで聞きました。

投稿したコメントは管理者が承認するまで公開されません。

スパム対策のためのダミーです。もし見えても何も入力しないでください
 ゲスト

画像認証

トラックバック - http://d.hatena.ne.jp/w_katsura/20100109/p1
リンク元
自己紹介

桂島 航 (かつらしま わたる)

VMwareでプロダクトマーケを担当（2011.7.11〜）。前職はDellでエバンジェリスト。その前は米国でストレージ製品のプロダクトマネージャをしていました。

最新タイトル
カテゴリー
日記の検索