僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用してかれこれ2年経つのでその経験をもとにバッチ処理の実装方法を書いてみようかと思う。バッチ処理、ジョブ管理について書いてみる - wyukawa’s blogでは主にジョブ管理に…

9/18（金）はブロードウェイタワーへチェルトナムからバスでブロードウェイまで行ってそこから30分以上歩きました。 途中で羊の群れのなかを通りました。ちょっと曇ってたけど眺めはまあまあ。 9/19（土）はロンドンに戻り、スタンフォードブリッジでチェル…

去年に続いてシルバーウィーク周辺に夏休みをとってイギリスにきてます。 今回はロンドンとコッツウォルズに行きます。羽田空港からヒースロー空港へ。フライト時間はだいたい12時間かな。 金曜日に出発して金曜日につく。機内では「ビリギャル」、「しくじ…

約1年間Prestoを運用していて気づいたことを書いてみようと思う。Prestoが素晴らしいOSSプロダクトであることは間違いなくて、Hiveを使っている人はインストールして損は無いと思う。メリットは下記の通り Hiveに比べるとオンメモリで処理するので高速でアド…