Firelens

タダです. 最近もっぱら ECS 周りを触っているんですが,コンテナのログを CloudWatch Logs に出すのはコスト的に避けたかったので FireLens 経由で S3 に出すようにしました.S3 に出しちゃえば Athena からログをクエリできると思ってやってみたのでこの記事でやり方をまとめていきます. aws.amazon.com FireLens のログの中身について Athena のテーブル作成 まとめ FireLens のログの中身について まず,FireLens から送られてくるログの中身をみていきましょう.ログの中身は次の項目がはいった JSON 形式になっています.…

どこでもかんたんVR「スペースリー」のインフラを担当しています佐藤です. スペースリーではメインのRailsアプリのアプリケーションログをdatadogで管理していますが， 新たにAWS ECS Fargate上でアプリを実行・運用するときでも， アプリケーションログはdatadogに集約して監視・運用したいという要件があります． これを実現する方法として AWS Firelensを導入したのでその詳細についてまとめました. 1. 前提 Firelens とは Firelens はAWSが提供するログ転送エージェントです． 従来AWSにおけるログ転送手段としては，AWS CloudWatch …

こんにちは、電通国際情報サービス デジタルイノベーション1部の加世です。 今回は「FluentBitを利用したログルーティング」を進める際に、「FluentBitについて理解する」ことを目的とした記事となっております。 具体的なFluentBitの使い所や設計を考える前段階として、本記事を参考にしていただければと思います。 Fluent Bitについて Fluent Bitの特徴 検証環境と処理フローについて Fluent Bit設計前の準備 データパイプラインの理解 データの構造化について まとめ Fluent Bitについて FluentBitは、データ（メトリクス、ログ、それ以外の生情報…

以下のブログに従って、Fluent Bit によるログの分割を試す。 Splitting an application’s logs into multiple streams: a Fluent tutorial EKS で試すことにする。 コンポーネント バージョン 備考 eksctl 0.86.0 Kubernetes バージョン 1.21 プラットフォームのバージョン eks.4 AWS for Fluent Bit 2.23.0 Fluent Bit 1.8.13 クラスターの作成 1.21 のクラスターをノードなしで作成する。 CLUSTER_NAME="fluent-tutori…

Kinesis Data Firehose の配信ストリームのベースとなる機能は取り込みと配信です。取り込みの料金は階層別であり、5 KB 単位で取り込まれた GB ごとに請求されます (3 KB のレコードは 5 KB、12 KB のレコードは 15 KB として請求されるなど)。オプション機能を使用しない限り、配信に Kinesis Data Firehose の追加料金はかかりません。 レコードごとの課金で、レコードサイズ5KBごとに課金が発生する。 5 KB への切り上げは、API オペレーションのレベルではなく、レコードのレベルで計算されます。例えば、PutRecordBatch 呼…

ECS運用に便利な機能まとめ。 経験が浅い自分のような人は、ついつい長期的に運用する観点を忘れてしまいがちです。 細々とした設定ファイル書いたりするより、「早くモノを作りたい！」の気持ちが勝つのでしょうがないけど。。。 最近は未経験者がポートフォリオでECS使ったりするのもあるあるらしいですが（スゲェ……）、 運用的な観点からいくつか機能を追加すると、ライバルに差をつけられるかもですね。 モニタリング CloudWatch logs 連携することにより、簡単にログの収集が可能。 FireLens Fargate環境で利用可能なログルーティング。 Firehoseと連携しCloudWatch l…

これは反省記事です。ECS上で稼働しているアプリケーションのログをFireLens経由(Fluent Bit)でOpenSearchに投入する際に、間にAmazon Kinesis Data Firehoseを挟む構成を考えていました。 なぜFirehoseが出てきたかというと、今回考えていた構成はECSのプラットフォームにFargateの利用を考えており、ボリュームは利用しない構成でした。ECS FargateはエフェメラルのボリュームもしくはEFSをマウントすることが可能ですが、エフェメラルなボリュームではタスクが終了したタイミングで消失してしまうため、ログをボリュームに書き出すような構成…

はじめに こんにちは。もうこの季節ですね。今年に関しては暦さんサイドのバグな気がしています、 nari/wapper です。 去年は準備の年と評したようですが、今年も特に大きな変化もなく同じく仕込みの年って感じでしたが、その中でも様々なカテゴリにて色々とイベントはあったので振り返って行こうかなと思います。 ↓2021年のやつ fukubaka0825.hatenablog.com 時系列で振り返る 1~3月 業務では、プライバシープロジェクトで、データライフサイクルとひたすら格闘 プライベートでは、最近日本語版がでたスタンフォード大学のコンピューターサイエンス入門講義であるCS50を教材に、友…

はじめに この記事はLCL Advent Calendar 2021 - 2日目です。 qiita.com バックエンドエンジニアの星野です。アドベントカレンダーを4日連続にしたことについて2日目ですでにギリギリです。 昨日の記事ではバッチジョブ実行基盤のパターンを紹介しましたので今日はその続きになります。 techblog.lclco.com 最初はCodeBuildのカスタムイメージです。 Fargateと比較した際のポイントやバッチジョブをTerraformから作成しやすくするための工夫について解説していきます。 CodeBuildをカスタムイメージで利用する CodeBuildはAWS…

こんにちは。VPoE室 星です。いよいよ明日から12月ですね！ 今年は、こちらの DMM inside にてDMMグループアドベントカレンダーを開催します！ アドベントカレンダーとは、もともとは、クリスマスまでの日数を数えるために使用されるカレンダーですが、その習慣にならって、 12月1日から25日まで毎日ブログ記事を投稿するというイベントです。 1年の締めくくりとして、DMMグループメンバーが得た知見や取り組み、技術などさまざまなテーマで記事を投稿する予定です。 公開予定 日程 テーマ 12/1 事業をスケールさせるエンジニアリング〜技術のコモディティ化にエンジニアは敗北する〜 12/2 S…

本文 こんにちは、スタメンの松谷です。 最近、Ruby on Railsアプリケーション環境をECSへ移行しましたが、ログ管理には FireLens for Amazon ECS (以下FireLens)という仕組みを利用しました。 この記事ではFireLensについて説明し、実際の要件にどのように対応したのかを共有します。 FireLens とは FireLensは2019年にリリースされたECSのログ管理機構で、ECSで管理しているコンテナの loging driver に awsfirelens を指定することで、サイドカーコンテナとして Fluentd または Fluent Bit を…

こんにちは。スタメンCTOの松谷です。 最近、弊社が提供している 「エンゲージメント経営プラットフォーム TUNAG」 と 「オンラインサロンプラットフォーム FANTS」 のアプリケーション環境をECS上のDockerコンテナへ移行しました。約5年間、EC2で本番運用してきたRailsアプリケーションをコンテナ化することはとても困難でリスクの高い大変な作業でしたが、今後、開発組織としてプロダクトのスケーラビリティに向き合うために必要だと判断し実行しました。 この記事では、スタメンのプロダクトの成長過程において、スケーラビリティにどのように向き合ってきたのか。なぜ今コンテナ化をしたのか。その舞…

はじめに AWS x コンテナに関する商業誌を執筆しましたので、本ブログにて少し内容を紹介できればと思います。 （しかし、見本誌をつみあげるとなかなか圧巻でした！） amzn.to 見本誌 こちら、共同執筆者の新井さん (@msy78)や、監修いただいた佐々木さん(@dkfj)のブログでも触れられている内容になります。執筆に至った経緯などはお二人のブログでも語られていますので、↓をどうぞ。 『AWSコンテナ設計・構築[本格]入門』の監修しました - プログラマでありたい 「AWSコンテナ設計・構築 [本格] 入門」を執筆しました - How elegant the tech world is.…