元RX-7乗りの適当な日々 このページをアンテナに追加 RSSフィード Twitter

RX-7(FD3S)WRX STI関連のキーワードで検索されて来られた方へ。
右サイドのカテゴリ『』をクリックすると関連する項目だけが表示されます。
日々の写真は『Flickr』で公開しています。

2009/11/25

自作サーバカンファレンス「はてなの自作サーバの実際」+他セッション講演メモ


本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと!Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝!!

1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。


田中さん(id:stanaka)のオープニングセッション

  • 自作サーバは安い早いうまい
    • 必要十分な仕様
    • 部品単位で調達・組立
    • 独自のカスタマイズ(SSD使いたい、など)
      • はてなでは1年くらいSSD使っている!
  • 安い
    • Core2Quad + 8GB + SSD X25-M 80GB
    • \100,000 + 5,000/month (1A)
      • \160,000/year
    • Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる
  • 自作サーバの将来
    • ベースとなる処理 ⇒ 自作サーバ
    • 突発的な処理・負荷 ⇒ クラウド

はてなの自作サーバの実際

  • 株式会社はてな
  • 吉田晃典 氏 (id:marqs)
  • インフラチームのエンジニア
  • 2008/05入社
  • ハードウェア全般、データベース、バックエンドアプリなど担当

はてなの自作サーバ
  • ハーフ1Uシャーシ(marqs-60)
    • フロントアクセス
    • さくらiDCに最適化設計
    • シャーシ奥行き310mm
    • リア吸気、フロント排気
  • 量産化
    • 半年運用
    • 90台以上運用
  • スペック
    • Intel DQ45CB
    • Core2Quad Q9400
    • 8GB (Transend => ACTICA)
    • シャーシ・電源スイッチは自社開発

シャーシ
  • 設計はid:marqs
  • 製作は板金工場の職人さん
  • 440mm x 43mm x 310mm
  • 本体
    • 処理鋼板1.2mm厚
    • ケーブルガイドをスポット溶接
    • メッキ加工

電源
  • Enhance社のFlex300
  • 初期
    • 延長ケーブルで対処
    • 毎回延長ケーブルを発注/取り回しが難しい
  • 現在
    • 業者に依頼してケーブル長をカスタマイズ/取り回しGood
    • カスタマイズ電源価格 < (電源+4pin延長+24pin延長)の価格

電源スイッチ
  • 最初期
    • ドライバ?で突いてた
  • 初期
    • ユニバーサル基盤に自作ハンダ(最初の10台)
  • 現在
    • プリント基板業者に依頼して一括作成(実装を安くやってもらえる)
    • (ユニバーサル基盤を使っている)

消費電力
  • 低負荷(アイドル)時0.5A
  • 高負荷時1.1A
  • 平均0.7〜0.8A
  • 1電源あたり15台
  • 1ラックに45台

ラッキング
  • ラックに60台収納可能
  • 実際は電源の制限あり〜45台
  • M6ケージナット x 4 で取り付け
  • レールは無し(レール自体は完成している)
  • L字アングルで使える
  • タップ位置重要
    • (8口の電源タップをサイドに取り付けている)

用途(1)アプリケーションサーバ
  • Intel DQ45CB + 2.5inch HDD x 1 + 8GB Memory
  • 基本かつ最安構成
  • HDDが壊れたら即交換
  • Pros: 価格・機動性・AMTでリモートON/OFF
  • Cons: DDR2メモリが高騰している(が、あらかじめ予想して、はてなでは買いだめしているw)

用途(2)DBサーバ
  • Intel DQ45CB + Intel SSD X25-M + 8GB Memory
  • DBスレーブ
  • Intel SSDは、まだ1台も壊れていない
    • (安物SSDは壊れまくった)
  • Pros: SSDいけてる(Readのパフォーマンスがかなり良い)
  • Cons: SSDの入手性(はてなでは買いだめしているw)/搭載メモリの限界

用途(3)ネットワーク特化サーバ
  • サーバ用M/B(LANx2 + IPMI)
  • トラフィックの多いところ(ルータ、LVS)で利用
    • はてなでは10台くらい
  • 最安構成+25000円程度
  • ネットワーク担当エンジニアid:maoe氏が愛用
  • Pros: NICの性能・IPMI・メモリレイアウト
  • Cons: 入手性・価格

用途(4)ストレージサーバ
  • 2Uハーフサーバ
    • 既存のシャーシを2枚重ねて、2階建て構成
      • (既存のシャーシを使いまわせるので、シャーシの納期を気にしなくて良い)
    • MogileFS用クラスタに使用
  • Pros: 高密度、特別なパーツが不要、常にギガバイト単位の安いディスクを投入できる(最近は1.5TB使っている、年明けには2.0TBにする予定)
  • Cons: HDDを選ぶ(ピンアップ電流が足りなくて2発しか使えない場合があった)、SATA電源分岐ケーブルが必要、ホットスワップができない

まとめ
  • 自作サーバを量産して
    • ベンダ製サーバを1年くらい買っていない
      • (自作サーバで事足りている)
    • アーキテクチャを自分で決められる
    • ハードウェアトラブルを自分たちで解決する覚悟
  • 今後
    • P55などLGA1156(今はLGA775など)
    • ホットスワップ可能なモジュール
    • RAIDカードの搭載

質疑応答など

  • どんなハードウェアトラブルが多いか?
    • 電源が足りなくてディスクが全部が動かないとか、BIOSを新しくしないとAMTのリモート管理が使えなくなったりとか。
  • リコール対策はどうしているか?
    • 特別なことはしていない。壊れたら捨てる。まったく使えなかったパーツはあまりない。
  • ハードウェアが壊れたときの対応は自社でやっているか?
    • すべて自社で行っている。インフラエンジニアは社員が4人、バイトが3人。実際にDCで手を動かしてるのはバイト
  • 熱対策は?
    • さくらのデータセンターに任せている。下から冷気があがってくるだけ。
  • 深夜の対応は?
    • 駆け付けは必要だろうけど、リモート対応で大体カバーできる。ここ1〜2年はリモート対応だけ。

追記:自作サーバカンファレンス各セッションの動画

よく考えたらUstなので、各セッションの動画が公開されていますね。

どのセッションも大変参考になる話ばかりです!気になった部分だけ掻い摘んでメモを貼っておきます。

どこも自作サーバのM/BはIntel DQ45CBでしたね。大人気。

あと個人的に、チームラボさんのサーバオフィスの話は、運用ストーリー(苦労話)が普通に面白すぎるので是非みてくださいwww


オープニング (はてな、田中氏)

http://www.ustream.tv/recorded/2638311

メモは上記。


はてなの自作サーバの実際 (はてな、吉田氏)

http://www.ustream.tv/recorded/2638321

メモは上記。


ピクシブの自作インフラ事情 (pixiv、上薗氏)

http://www.ustream.tv/recorded/2638380

  • 自作サーバ170台、全て自社サーバルームで運用
  • pixiv、140万ユーザ、9億5000万PV/月、3300万PV/日
  • ベニヤ板にすべてのパーツが載っている自作サーバ!約5万円/1台
    • サーバの固定はガムテープで、ちなみにGoogleはマジックテープらしい
  • 自社サーバルームの電気代は、電気使用量125A(2009/11現在)で、1台あたり平均0.7〜0.8Aの消費
  • 電気代 (オフィス分込み)
    • 2007/10: \91,666 (pixivリリース、社員8人)
    • 2008/10: \175,696 (サーバ70台、社員10人)
    • 2009/8: \312,226 (サーバ120台、社員20人)
  • 回線の太さは2Gbps以上だが、ルータは家庭用ブロードバンドルータを使っている!

自作サーバ運用アメーバピグ編 (サイバーエージェント、桑野氏)

http://www.ustream.tv/recorded/2638413

  • アメーバピグ(Amebaのアバターサービス)、2009/2オープン、2009/11現在150万ユーザ
  • ストレージサーバ(低コストで安定したサーバ)と高密度サーバ(スケールアウト前提で、AtomとCore2Quadを用途で使い分け)で自作サーバを使う
    • Core2Quadモデルは、Web・APサーバ等、ロードバランサで負荷分散される用途
      • アイドル0.4A〜0.5A、最大負荷時0.9〜1.0A
    • Atomモデルは、分散KVS
      • アイドル0.3〜0.4A、最大負荷時0.4〜0.5A
  • ラッキングは、16台1組で6U、1ラック最大96台まで搭載できる
  • 1台20分前後で組み立て。100台構築〜インストール〜サーバ設定まで7時間程度
  • 故障率は9ヶ月で4/200、ただし初期不良は結構あるらしい

自作ラックの作り方 (Cerevo、岩佐氏)

http://www.ustream.tv/recorded/2638493

自作ラックのつくりかた!!すごいよ。

自作サーバの設計もかなり深い話で、消費電力は最小17Wまでになったとのこと!


サーバオフィス作っちゃいました (チームラボ、田村氏)

http://www.ustream.tv/recorded/2638546

この運用苦労話の面白さは、残念ながらテキストでは伝わりません!是非動画をみてください。サグールハウス・・・。

漏電ww感電wwサーバオフィスww浸水ww土嚢www

自作サーバを作ることもそうですが、それ以上に運用の大変さ・面白さが伝わってきますw


関連リンク

はてなユーザーのみコメントできます。はてなへログインもしくは新規登録をおこなってください。


オススメ (一部は、最近読んでいる本とも言う)
Chef実践入門 ~コードによるインフラ構成の自動化 (WEB+DB PRESS plus) クラウド Amazon EC2/S3のすべて~実践者から学ぶ設計/構築/運用ノウハウ~ [Web開発者のための]大規模サービス技術入門 ―データ構造、メモリ、OS、DB、サーバ/インフラ (WEB+DB PRESS plusシリーズ) エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド [24時間365日] サーバ/インフラを支える技術 ~スケーラビリティ、ハイパフォーマンス、省力運用 Linux-DB システム構築/運用入門 (DB Magazine SELECTION) キャパシティプランニング ― リソースを最大限に活かすサイト分析・予測・配置 スケーラブルWebサイト 実践ハイパフォーマンスMySQL 第3版 ウェブオペレーション ―サイト運用管理の実践テクニック (THEORY/IN/PRACTICE) SQLアンチパターン インターネットのカタチ―もろさが織り成す粘り強い世界― ハイパフォーマンス ブラウザネットワーキング ―ネットワークアプリケーションのためのパフォーマンス最適化 Linuxの教科書―ホントに読んでほしいroot入門講座 (IDGムックシリーズ)