Hatena::ブログ(Diary)

Y-Ken Studio - 日々クリエイション このページをアンテナに追加 RSSフィード

2013-04-25 はてなブログへ引っ越します。 このエントリーを含むブックマーク このエントリーのブックマークコメント

はてなブログへ引っ越します。

http://y-ken.hatenablog.com/

新しいRSS/Atomフィードは以下の通りです。引き続きよろしくお願いします。
http://y-ken.hatenablog.com/feed

livedoor Readerに登録

引っ越し先ブログの記事紹介

2012-09-09

いま「Intel SSD 910 Series」がアツイ理由

18:16 |  いま「Intel SSD 910 Series」がアツイ理由を含むブックマーク  いま「Intel SSD 910 Series」がアツイ理由のブックマークコメント

f:id:yoshi-ken:20120909170109j:image:w640

エンタープライズ向けPCI-Express x8接続SSD「Intel SSD 910 Series」が2012年7月に発売となりました。
400GBのモデルでも16万円という事もあり、高いイメージがありますが、コストパフォーマンスは相当な物です。

続きを読む

トラックバック - http://d.hatena.ne.jp/yoshi-ken/20120909

2012-09-08

携帯電話アドレスへデコメ(HTMLメール)を送る際に知っておきたい3つの罠

19:00 |  携帯電話アドレスへデコメ(HTMLメール)を送る際に知っておきたい3つの罠を含むブックマーク  携帯電話アドレスへデコメ(HTMLメール)を送る際に知っておきたい3つの罠のブックマークコメント

フィーチャーフォン(ガラケー)向けにデコメ(HTMLメール)を配信すると、
iPhone利用者も含まれることになり、正しく表示できない事があります。

こちら、iPhoneを提供しているau, softbankで状況が異なります。

続きを読む

トラックバック - http://d.hatena.ne.jp/yoshi-ken/20120908

2012-09-01

Muninの負荷を5分の調整で劇的に減らし、グラフ表示を高速化する方法

16:52 |  Muninの負荷を5分の調整で劇的に減らし、グラフ表示を高速化する方法を含むブックマーク  Muninの負荷を5分の調整で劇的に減らし、グラフ表示を高速化する方法のブックマークコメント

サーバ負荷メトリクス分析ツール「Munin」は、導入・運用保守コストが圧倒的に低いのが特徴です。
しかし、たった数十台の監視を行うだけで、5分おきの更新もままならない程のCPU・I/O負荷となります。
設定の手間の掛かるCactiやGangliaへの乗り換えも面倒で仕方ありません。

この記事は、そんな悩みを抱えるインフラエンジニアへ贈るTipsです。

環境

課題

以下のような課題を抱えているなら、この記事が役立つはずです。
  • 更新負荷が高く、5分では終わらない状態となった
  • グラフ動的生成化するとcgiが必要&表示が重たいため、軽快にグラフ表示を行いたい
  • 速度低下を覚悟で グラフ動的生成化 を行ったが、今度はhtml更新中のグラフ欠落に悩まされている

続きを読む

pacopaco 2014/04/05 13:22 munin-limitsの記述も入れたほうがいいかもかも

yoshi-kenyoshi-ken 2014/04/07 09:54 コメントありがとうございます。
そうですね、munin-limitsに関しての記述がある場合には消さないようにする旨の記述を追記しました。

2012-07-01

自在にタグを書き換える fluent-plugin-rewrite-tag-filter でログ解析が捗るお話 #fluentd

19:07 | 自在にタグを書き換える fluent-plugin-rewrite-tag-filter でログ解析が捗るお話 #fluentdを含むブックマーク 自在にタグを書き換える fluent-plugin-rewrite-tag-filter でログ解析が捗るお話 #fluentdのブックマークコメント

皆様、ログ解析を行っていますか?

GoogleAnalyticsも便利ですが、表で取れないデータの解析も行いたいですよね。そんな時にfluentdが便利です。

内部の生ログからの解析が捗る、fluent-plugin-rewrite-tag-filter が安定版となりましたので、設定例を交えつつ紹介したいと思います。

このプラグインは100台規模の本番環境で1ヶ月少々、特にトラブルもなく稼働しているものです。

f:id:yoshi-ken:20120701175335p:image

はじめに

Amazonでは応答速度が0.1秒遅くなると売り上げが1%減る と言われているように、Webアプリケーションの応答速度はとても重要なものです。

機能追加による性能劣化は良くある話で、応答速度等の見える化を行う事で迅速な対応が取れば売り上げ等への影響も軽微です。

パフォーマンス改善等の指標として利用する場合のユースケースを紹介したいと思います。

fluentdとは

リアルタイムに構造化されたログを収集する汎用ツールで、既にNHN(Livedoor)やcookpadslideshareなどで実践投入されているrubyプロダクトです。

豊富なプラグインと拡張性を持ちながら、導入の敷居がこれまでのscribed等に比べて劇的に低いのが特徴です。

fluent-plugin-rewrite-tag-filterとは

データ内容を条件に任意のtagに書き換えるという、Apachemod_rewriteを意識したフィルタプラグインです。

先頭から順番に正規表現で評価し、該当すればそのtagに書き換えるという動作をします。

https://github.com/y-ken/fluent-plugin-rewrite-tag-filter

http://rubygems.org/gems/fluent-plugin-rewrite-tag-filter

例えば、このプラグインを組み合わせて利用することで、Apacheのアクセスログから以下の解析を行う事も出来ます。

  • サイト毎・機能毎の応答速度集計とグラフ化を行う
    見える化されている事で、一部機能の性能劣化が起きても迅速に改善が出来ます。
  • 検索エンジンのロボットによるクロール状況推移のグラフ化
    サイトのリリース後、どれほどロボットにクロールされているのか気になりますよね。

プラグインのインストール方法

  • ネイティブインストールしている場合
gem install fluent-plugin-rewrite-tag-filter
  • td-agent を使ってインストールしている場合
/usr/lib64/fluent/ruby/bin/gem install fluent-plugin-rewrite-tag-filter

使用例

マルチドメイン環境のApacheのアクセスログを用いた、3つの設定例を紹介します。

  1. サイト毎にテーブルを分けてアクセスログをmongoDBへ保存する
  2. サイト・機能毎に応答速度、レスポンスコード、UserAgentを集計し、グラフ化する
  3. 指定URLやUserAgent等を除外した後に応答速度の集計を掛け、グラフ化する

続きを読む

トラックバック - http://d.hatena.ne.jp/yoshi-ken/20120701