Hatena Blog Tags
はてなブログ トップ
Firelens
このタグでブログを書く

Firelens

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
とことんDevOps | 日本仮想化技術のDevOps技術情報メディア•7ヶ月前

ECSでAWS FireLensを使ってみる

CloudWatch Logsにログを溜め込むのはコスト的に避けたいですよね。CloudWatch LogsにはS3にログをエクスポートする機能がるのですが、なぜか手動実行にしか対応していません。自動的にエクスポートするにはLambdaを定期実行するか、EventBridge Schedulerで定期的にエクスポートすることになります。 EventBridge SchedulerでS3にエクスポートするのがもっとも簡単な方法だと思うのですが、これには考慮する点があります。それはCloudWatch Logsの削除のタイミングとEventBridgeの実行のタイミングが同期していない点です。削除…

#Firelens

関連ブログ

LayerX エンジニアブログ•2年前

何問わかるかな？AWS FireLens（Fluent Bit利用版）クイズ！！！

こんにちは。バクラク事業部Platform Engineering部DevOpsチームの@civitaspoです。 7月はLayerXエンジニアブログを活発にしよう月間 ということで、この記事ではAWS FireLensに関する情報をクイズ形式でお届けします。 みなさんはAWS FireLensを使っていますか？弊社ではAmazon ECS上にアプリケーションをホスティングしており、AWS FireLensを利用してログ収集・ログ送信を行っています。AWS FireLensは非常に便利です。一方、AWS FireLensは奥が深い挙動をすることもあります。この記事ではそんなAWS FireLe…

#AWS FireLens#Fluent Bit#fluentbit#Firelens
継続は力なり•4年前

FireLens からログだけ Lambda を使って抽出し,Athena でクエリする

タダです. ECS に乗っているコンテナのログを FireLens を経由して Kinesis Firehose -> S3 にログを出しました.ただ,下記の JSON 形式でログが保存されているため,Athena でクエリしようとするとしてもログの詳細を見る時辛いなと思っていました. { "container_id": "xxx", "container_name": "xxx", "ecs_cluster": "xxx", "ecs_task_arn": "arn:aws:ecs:xxx:xxx:task/xxx/xxx", "ecs_task_definition": "xxx:xxx"…

#AWS#Athena#ログ分析
継続は力なり•4年前

FireLens で出力されたコンテナのログを Athena でクエリする

タダです. 最近もっぱら ECS 周りを触っているんですが,コンテナのログを CloudWatch Logs に出すのはコスト的に避けたかったので FireLens 経由で S3 に出すようにしました.S3 に出しちゃえば Athena からログをクエリできると思ってやってみたのでこの記事でやり方をまとめていきます. aws.amazon.com FireLens のログの中身について Athena のテーブル作成 まとめ FireLens のログの中身について まず,FireLens から送られてくるログの中身をみていきましょう.ログの中身は次の項目がはいった JSON 形式になっています.…

#AWS#ECS#Firelens#ログ#Athena
Spacely Tech Blog•5年前

AWS Firelensでfargateログをdatadogに集約する

どこでもかんたんVR「スペースリー」のインフラを担当しています佐藤です. スペースリーではメインのRailsアプリのアプリケーションログをdatadogで管理していますが， 新たにAWS ECS Fargate上でアプリを実行・運用するときでも， アプリケーションログはdatadogに集約して監視・運用したいという要件があります． これを実現する方法として AWS Firelensを導入したのでその詳細についてまとめました. 1. 前提 Firelens とは Firelens はAWSが提供するログ転送エージェントです． 従来AWSにおけるログ転送手段としては，AWS CloudWatch …

#ECS#Firelens#インフラ#AWS