Hatena::ブログ(Diary)

naoyaのはてなダイアリー

ウェブのこと、技術のこと、日々の出来事。

トップ > 2007年01月16日 >  さくらインターネット移行記#1

January 16, 2007

■ さくらインターネット移行記#1

先日のライブドアのテクノロジーセミナー(http://d.hatena.ne.jp/naoya/20061214/1166063145)でも少し触れたのですが、はてなのサーバーは今後さくらインターネットのiDCでホストすることになりました。

複数の iDC を検討しましたが、最終的にさくらインターネットに決めた理由は回線品質の高さと回線が低価格である点でした。

はてなのようなコミュニティ中心のサービスは、お金の面では、どうしても回線コストと収益の間にアンバランスが生じがちです。ショッピングサイトや各種メディアのようなコンテンツに比べてマネタイズが難しい、というのがその主な理由です。

例えばはてなのトラフィックの多くははてなダイアリーの日記へのアクセスで占められていますが、基本的に個人の日記にははてな側からは広告を掲載しないポリシーでいます。そのためトラフィックを多数必要とされる箇所で収益をあげることができず、なんとかそのコストを他のページであがった収益でまかなう必要が出てきます。商売指向のサイトでないことの皺寄せは、こういったところに来るというのがおそらく同業者の共通認識でしょう。

同じようにコミュニティサービスをやっている Mixi や Gree がさくらインターネットを選択しているのには、おそらくこういった懐事情も結構あるのではないかなと思います。昨今ウェブで流行しはじめたサービスはどれも似たような傾向を持つものが多いので、さくらインターネットのような回線価格で勝負している業者の需要は今後も増していくのではないかと予想しています。

あと、さくらインターネットの社長の笹田さんが MMORPG の EverQuest (以下EQ) オタクで、同社の主なメンバーは EQ のギルドで一緒にやってた仲間から集めたとか言ってまして、同じくヘビーに EQ にはまっていた僕とシンパシーを感じまくったというのも選定の理由です。いや、選定の理由だったのは嘘。

さて、「移行」と一言で言ってもシステム作業的には結構な労力を必要とします。その作業をつい昨日行ってきました。本格的な iDC の利用開始という意味ではてなにとって非常に大きな意味をもった一日だったと思います。せっかくなので、写真撮影の許可もいただいたことだし、その様子をちょっとレポートしてみようと思います。データセンターの裏側を見れる機会ってのもそんなにないことですしね。サービスの裏側ってどうなってるのかなー、という方は是非写真と一緒に想像を働かせてみてください。

まずはオフィスで事前準備。以前京都から東京に引っ越してきたときとは規模も違うので、いきなり既存サービスを止めつつごっそり移行というわけではなく、今回は少しずつやっていく方針です。

最初の1ラックで使うサーバーを用意します。サーバーは例によって自社製フレームに収まったこんな見てくれのもの。

f:id:naoya:20070115122230j:image:w150 f:id:naoya:20070115122306j:image:w200

これだけの台数が並ぶと結構壮観です。OS をインストールしたり、稼動させるサービス用の各種サーバーをセットアップしたりを行います。最近僕がしきりに言ってる LVS も VRRP で冗長化して、ばっちりです。

f:id:naoya:20070115131913j:image:w150 f:id:naoya:20070115133930j:image:w200

今回持っていくサーバーは台数がそれほど多くないので、自分たちで車で運ぶことにしました。あくまで自分たちで、それがはてなクオリティ。車内の振動でサーバーが壊れないように梱包します。

f:id:naoya:20070115140508j:image:w150

と、全部自作とみせかけておきながら、本格的 iDC の利用開始ということで、いわゆる 1U サーバーもちょっと使って使用感を試したいと思い、2台ほど持っていくことにしました。写真は Sun Fire X2200 M2 と X2100 M2 です。CPU は Opteron で、OS は Linux です。はてなサーバーに比べるとえらくかっこいい。萌える。いや、比べる対象が間違ってる。

f:id:naoya:20070115140814j:image:w200 f:id:naoya:20070115141100j:image:w200

社用車のインプレッサにみんなで積み込む。普段あまり車は使わないはてな社ですが、この日は大活躍でした。

f:id:naoya:20070115141205j:image:w200

幹事マン運転のもと、いざ出発! ほかメンバーは交通機関で追いかけます。

f:id:naoya:20070115143832j:image:w200

で、到着(早) 後続組みが追いかけた過程もご報告といきたいところですが、iDC はその性格上通常は場所とかは秘密なんです。すいません。適当に想像してください。

f:id:naoya:20070115143842j:image:w150

にやけながらラックの扉をあけます...

f:id:naoya:20070115143856j:image:w150

これがおれたちの新しい城じゃーーー!!!! と盛り上がる一同。いや、ほんとに。ここ盛り上がるとこですから!

f:id:naoya:20070115143906j:image:w150

旧サーバールームLANと新iDC LANの間での通信が移行が完了するまでしばらく必要なので、内部ネットワーク同士を VPN で結んであります。あらかじめさくらさんで設置してくださった VPN 関連のスイッチがマウントされています。

f:id:naoya:20070115143911j:image:w200

ラックの底はこんな具合で空洞になってます。

f:id:naoya:20070115150837j:image:w150

遊ぶ場所間違ってますから、社長。

f:id:naoya:20070115145814j:image:w150

気を取り直して、まずは Sun Fire をマウントします。レールを先に取り付けます。iDC での作業経験者が一人もいなかいこともあって、結構苦戦。レールの取り付けはおそらく手馴れても一人だと難しそう。二人で両脇から作業をすると効率がよさそうです。

苦労してレールを取り付けて、いざ Sun Fire をマウント...

f:id:naoya:20070115151141j:image:w200

ぬおおお、かっこええー! と大騒ぎになりました。が、ここで事件発生。裏表間違ってます、先輩。工工エエｴｴ（´Д｀）ｴｴエエ工工。ということで気を取り直してやり直し。

f:id:naoya:20070115153049j:image:w150 f:id:naoya:20070115153058j:image:w150

レールを付け直し、慎重に一台ずつマウントしていきます。レールにそって 1U サーバーが収まっていく瞬間はなんとも言えない爽快さがあります。

f:id:naoya:20070115153114j:image:w200

ぬおお、かっこいい...。というかこれがサーバーだよね。自社製サーバーしかみたことない id:kiyohero がはじめて Sun Fire をみたときに「これ何ですか!? もしかしてサーバーですか?! これほんとに動くんですか!」と言い放ったのは歴史に残る一コマだったと思います。動くっちゅうねん。

f:id:naoya:20070115153408j:image:w200

裏から見るとこんな感じ。改めて萌えますね。

f:id:naoya:20070115153530j:image:w200

サーバーもマウントできたところで、ネットワークの設定もはじめます。あらかじめ高速回線とつながった Ethernet ケーブルが配置されているので、自分たちのルーターにそれをくっつけつつ設定などを行います。

f:id:naoya:20070115165143j:image:w150 f:id:naoya:20070115173516j:image:w200

手分けして、自社製サーバーもラックに積んでいきます。力仕事、がんばれおまいら。

f:id:naoya:20070115192055j:image:w200

なんか写真ばっか撮ってて仕事してないように見える僕ですが、ちゃんとやってますよ。これ証拠写真ね。

f:id:naoya:20070115192655j:image:w150

途中いくつかトラブルもありましたが(LVS 設定ばっちり! と思ってたけど例によって LVS の設定ではまりましたｗ)、無事全サーバーの搭載を完了し、ネットワークの疎通を確認中。iDC に設置したけどネットワーク疎通してないよ! とかなるとまた戻ってこないといけませんからね。この辺りは慎重に。ちょっとケーブルが絡まってますが、ご愛嬌。この辺はおいおい整理していきます。

ネットワーク開通を確認して、iDC 立ち上げ第一段階完了。広い iDC でみんなで大騒ぎして帰ってきました。

自社製のへんてこなサーバーを持ち込みも OK でしたし、VPN の構築とかもかなりスムーズにやってもらって、さくらインターネット++ でした。当日、自社製サーバーを置く棚板が、本来想定していたものと違っていたのですが、すぐに別の iDC から希望通りのものを持ってきてくれたりもしました。

そんなこんなで iDC の立ち上げ1ラック目が完了しました。いまはこのラックで動かすサービスの最終調整をリモートから行っています。

今後も気が向いたら、更にラックが増えて拡大していく様子もレポートしてみたいと思います。お楽しみに。

Permalink | コメント(23) | トラックバック(2) | 17:21 さくらインターネット移行記#1を含むブックマーク

3833213132
Book EverQuest 2. Das Meer der Traenen
Panini Verlags GmbH Stewart Wieck
B002QCY6NW
Watch [ルイスバルサ]LOUIS VALSA 腕時計 200M防水 ジ...
LOUIS VALSA(ルイスバルサ)
クリック: 8回
コメント一覧

kkrossokkrosso 2007/01/16 18:17 ケーブルがぐちゃぐちゃだと、サーバの交換などの作業がしにくいし、作業中に余計なケーブルに触れて緩んだり、抜けたりして思わぬ障害になるのでケーブルの整理は早めにやっといたほうがいいですよ。

hirose31hirose31 2007/01/16 18:59 もうぶらさがりサーバじゃないんでしょうか？

packratpackrat 2007/01/16 22:51 門の形をした変なビルの予感…！
ところで床下ってけっこう汚くなかったですか？ 背中が大変なことになってそうです。

IDCへようこそIDCへようこそ 2007/01/17 00:30 西新宿の新しいDCですな。
ケーブルは、1mと2mを用意しておくのが吉なり。

sesoseso 2007/01/17 01:02 昔DECのアルファサーバ組んでた頃を思い出させてくれる写真でした。
ケーブルはサーバの出し入れまで考えて結束しないとあとでトラブルの元になりますよ。

pepponpeppon 2007/01/17 01:32 ラックに入れる前に落書きとかしませんでしたか。

ななしんななしん 2007/01/17 02:55 IDCに入れると移動や出入りに時間がかかることが多いので、
コンソールサーバとかを使って、シリアルコンソールを使える
ようにしておくとLinuxでもシングルモードに落としても、
シリアル経由で入れるので便利です。

あとは最近は、リモートKVM(IPで画面,キーボード,マウスを
飛ばせる)とかがあるのでそれも便利みたいですよ。

SUNのサーバ(SPARC機だけ？)やNOKIAとかだと、すべて
シリアル経由で制御できるので、非常に便利でした。
(Boot用のCDとDATでのリカバリとかも最悪の場合、遠隔地で
も可能だったりします)

ケーブルは整線は、最初にやっておかないと・・・大変。
LANも冗長化してスイッチの障害にも対応できるようにしている
と良いかもしれませんね。

nonamenoname 2007/01/17 06:43 サーバにテプラで名前ふっとくのがお勧め。
２ちゃんねるはそうなってます。

木村木村 2007/01/17 07:30 はてなさんはさくらに移行ですか。ウチも大阪時代から使ってますが、なかなか手ごろなところです。（大昔はサーバ室にコミケの広告原稿が落ちてたりしてたけど。）

通りすがり通りすがり 2007/01/17 10:31 1Uサーバのラックマウント・・・重ねすぎのような・・・
せめて1Uスペースは空けてマウントしないと、空調が・・・

shachishachi 2007/01/17 15:03 1Uサーバは熱がこもりやすいから適度に隙間開けた方が良いよ。
熱暴走はしゃれにならないし。

tur2k3tur2k3 2007/01/17 22:15 1Uサーバはきっちり詰めてマウントしないと、逆に計算通りの冷却効果が得られない、と聞きましたが。。真偽は定かではなし。

tamtam3tamtam3 2007/01/18 01:29 1Uサーバ（ピザ箱）が暴走するのは　安物のラックを使ってるせいだって
婆ちゃが言ってたよ

通りすがり通りすがり 2007/01/18 02:36 さくらのラックは安い方ですね。

つちつち 2007/01/18 13:21 深夜、再起動できなくなると大変なんだよねー。
リモートで再起動するときとか・・・。
電話で再起動依頼などをすると慣れてないと大変なケースがｗ
（って自分だけか？）
IPMIがほしくなるこのごろ。

さくらはキャリアフリーのデータセンタ箱の中にあるので自由度は高いすよねー。

kokorohamoekokorohamoe 2007/01/28 04:02 さくらは営業さんにお話を聞いたところ
比較して、
ラック当たりの廃熱量が小さく
ラック当たりの電源の容量が小さく
なっていました。

そのため、１Ｕなどの高密度サーバーをやろうとすると
廃熱と電源の関係で全Ｕに詰めてかつ全UがCPUフルパワーで回ると
危険と判断して回避しました。

さくらでやるならば、高密度ではなく
２Ｕなどを使い、高いマシンをＶＭＷＡＲＥなどで
仮想化したほうが、最終的には安全だと考えています。

その判断が正しいか間違っているかはわかりませんが、
いちおう、さくらについてはそんな感じです。

もしよろしければ、その辺をどのように判断したか
お暇なときにでも教えて下さい。

まぁさいきんはTDPがずいぶんと小さいですから・・・

danieloceandanielocean 2007/02/08 17:58 なんかラッキングとか移設の時だけ手伝いましょうか？
一応経験者なので・・・。

kunkichikunkichi 2007/02/18 15:01 話は変わりますが、なぜ今更Sunなのでしょうか？いや、Sunが悪いということではなく（私も仕事ではSunですし）、これまでのサーバ構築ポリシーと違う気がしたので、なんか理由があるのかなぁと。

kunkichikunkichi 2007/02/18 15:07 あ、OSもLinuxで、1Uの使用感を試したいと書いてますね、、失礼しました。
でも、じゃあなんでDELLとかみたいなもっと一般的なx86サーバ出してるとこのを使わないんだ？とか、X2100とか結構電源食わない？とか、やっぱり気になるw

naoyanaoya 2007/02/21 05:43 Sun の Opteron サーバーは他大手メーカーのものと比べて一番消費電力が少ないそうです。

他メーカーのものが Xeon と Opteron の両方に対応できるように筐体を設計してるのに対し、Sun の筐体は Opteron 専用に作られていて消費電力をより抑えられるようになっているらしく。

なお、Dell の x86 サーバーも試してます。

欧米では x86 サーバーの出荷実績はいまは IBM > hp > Sun > Dell で、Sun が SPRAC + Solaris な会社であるっていう認識はもう古いんでしょうね。

kunkichikunkichi 2007/02/26 13:14 OpetronはX2100を検証でちょびっとだけ使ったことしかないのですが、消費電力がSun Fire V240辺りよりも高かったと思いますので一番少ないってのはちょっと意外です。まあパフォーマンス辺りのコストをちゃんと算出してないのでちゃんと測定すれば変わるのかもしれませんね。Intelとの提携も復活したみたいなのでまた変わっていきそうですが。

Sunのx86サーバの実績はインプレスのエンタプライズwatchでも出ていましたね。ただ国内企業ではまだまだ根強いSparc＋Solaris信仰があるような気がします。実際、うちにくるSunの営業もSparcを薦めますし、x86版Solarisへの力の入れなさ具合も言いますし。でもまあ単にSparcのほうが単価が高いってだけかもしれません。

ご回答ありがとうございました。

とおりすがりとおりすがり 2007/03/09 18:01 あれ、さくらインターネットってマシンルーム内の写真撮影って許可してるんだっけ？

naoyanaoya 2007/03/10 00:27 許可もらってます

はてなユーザーのみコメントできます。はてなへログインもしくは新規登録をおこなってください。

トラックバック - http://d.hatena.ne.jp/naoya/20070116/1168935694
idトラックバック
リンク元