Firelens

タダです. 最近もっぱら ECS 周りを触っているんですが,コンテナのログを CloudWatch Logs に出すのはコスト的に避けたかったので FireLens 経由で S3 に出すようにしました.S3 に出しちゃえば Athena からログをクエリできると思ってやってみたのでこの記事でやり方をまとめていきます. aws.amazon.com FireLens のログの中身について Athena のテーブル作成 まとめ FireLens のログの中身について まず,FireLens から送られてくるログの中身をみていきましょう.ログの中身は次の項目がはいった JSON 形式になっています.…

どこでもかんたんVR「スペースリー」のインフラを担当しています佐藤です. スペースリーではメインのRailsアプリのアプリケーションログをdatadogで管理していますが， 新たにAWS ECS Fargate上でアプリを実行・運用するときでも， アプリケーションログはdatadogに集約して監視・運用したいという要件があります． これを実現する方法として AWS Firelensを導入したのでその詳細についてまとめました. 1. 前提 Firelens とは Firelens はAWSが提供するログ転送エージェントです． 従来AWSにおけるログ転送手段としては，AWS CloudWatch …

自己紹介 エンジニアとしての経験は約25年になります。最初の10年ほどはSIer業界でWindows系や.NET系の開発を専門にしておりましたが、最近15年ほどはWeb業界の自社開発企業界隈でLinux系のバックエンド開発およびクラウドインフラ周りの設計/構築業務に携わっております。 ここ数年はクラウドのインフラエンジニアとしてサービスの新規開発フェーズやインフラのリプレイスフェーズに参画させていただくことが多いです。最近の業務経験に関しては下記のレジュメにまとめておりますのでご参照いただければと思います。 github.com エンジニアとしての抽象的な強みは下記になります。 幅広い知見と経…

はじめに エキサイト株式会社 バックエンドエンジニアの山縣（@zsp2088dev）です。 現在、既存サービスのリビルドにあたり、AWS Copilot CLIを使用してコンテナ環境を構築しています。 コンテナ環境には、サイドカーコンテナにnginxを使用しており、またログをFireLensで管理しています。 この時、Manifestにloggingセクションを定義し、メインコンテナのログドライバにFireLensを適用できたものの、サイドカーコンテナにはFireLensを適用できない問題がありました。 本記事では、上記の原因と解決策についてまとめます。 また、本記事内で扱うAWS Copil…

一応休み。 ただ、調整事項があるので、ゆっくりとはできないかな。 技術ネタ firelensとfirehoseは実装したい。 firelensを素振りする firehoseを素振りする GrafanaのAWS環境を作る ALBのアクセス解析 IoTのMQTTを素振りする やること amazonプライムデーでの買い物 旅行計画 調整事項の返信 20分ラン 雨がぽつぽつだった。 みらいを玄関で見送るのに間に合うように走った。 為替介入？ 為替が面白い。 というと、不謹慎だけど、動きが激しい。ドルで決済する海外のサービスがあるので、円安は避けたいところなのだけど、日常生活の物価上昇に一役買っている円…

今日も朝から暑い。本日の最高気温の予想は37度。 技術ネタ 20分ラン ホットサンド IPアドレス追加 旅行のことを考える 技術系更新 冷やし中華 firelensと向き合う サウナ 贅沢 夕食 技術ネタ S3にデータが残っていてもterraformで消す方法：済 javaのJVMにタイムゾーン：済 RDSの実験：済 AmazonLinux2から2023へのアップデート firelensを素振りする GrafanaのAWS環境を作る ALBのアクセス解析 20分ラン 林間学校の企画が本格的に動き始めたので、ランニングも本格的に。 朝7時台で27度。暑い。 ホットサンド 朝食はホットサンド。ベー…

朝から暑い。 後片付け 昨夜は早くに布団に入ったので、5:00ぐらいに目が冷めた。 以下を実施。 旧本番DBの停止 旧検証DBの削除（VPC含めて削除） 不要環境の削除（誤って作成した不要な環境を削除） 20分ラン みらいを送り出して、20分ラン。 買い物 スーパーで買物。 お茶っ葉が20%OFFだったので、水出し用を購入。 録画鑑賞 チコちゃんに叱られる!▽七夕の願い事▽高校野球の謎▽ガスコンロの不思議[ 流派ーR ララLIFE 小倉優子、日本酒の聖地・東京大塚で最高のおつまみ探し 全力!脱力タイムズ【小籔千豊&ソニン、あんな怒られることなかった!?の巻】 A-Studio+【小泉孝太郎】 …

エキサイト株式会社エンジニア佐々木です。メディア事業部ではSpringBootとAWSを使用してサービスを展開しています。簡易的な監視にSpringBootAdminを利用していますので、その紹介になります。 環境 なぜ簡易モニタリングが欲しかったのか？ SpringBoot Adminの構成について SpringBoot Admin Serverの設定 build.gradle application.yml SpringBoot Admin Clientの設定 build.gradle application.yml Server/Clientをそれぞれ起動する サーバの状態 ログファイル…

GMOメイクショップ コアグループ エンジニアの越川です。 前職あたりから、AWS関連の仕事をさせてもらうことが多くなってきていて、 弊社の新システムの構成や構築を設計経験させていただきました。 今回は、監視について記載させていただきます。 1. 全体構成図 2. 監視対象 3. ログ監視 4. メトリクス監視 5. 外形監視 5. まとめ 参考 1. 全体構成図 早速ですが、今回構築した全体図から 監視の全体イメージ 2. 監視対象 今回導入した各項目は後述いたします。 ログ メトリクス 外形 APM（初期導入を見送りましたが、X-RayかDatadog Application Perfor…

こんにちは。アスクルの荒木（@news_it_enj）です。 先日投稿したVPCエンドポイントを活用したコスト削減 完全版 - 前編の後編になります。

はじめに Datadog API Clientによるデータの取得 パフォーマンス分析の概要 対象データ 分析方法 パフォーマンス分析基盤の構成の検討 データ保存先 構成 対応内容 サーバーサイド インフラ フロントエンド 最後に We're hiring! はじめに DIGGLEではすでにDatadogを導入してパフォーマンス指標のトレースデータ*1は取れていますが、以下の課題がありました。 ユースケースを分けてパフォーマンス指標を取得したい DIGGLEがターゲットとしたい企業やペルソナユーザーのデータのみを取り出すのが面倒 開発時点でCIが動いた時に、分析結果をプルリクのコメントに出力した…

こんにちは。初投稿するアスクルの荒木（@news_it_enj）です。 先日第1回 AWSコスト削減 天下一武道会で登壇した「VPCエンドポイントを活用したコスト削減」について泣く泣く削った内容などを補足した記事になります。 ブログ慣れするために、前編・後編に分けてお届けさせてください。

メタバースプラットフォーム「cluster」のインフラチームの佐藤です。今回はclusterではログをどのように扱っているかをインフラ観点からご紹介します。 ログは安定したサービス提供を行うために役立つ基本的な要素です。初期の素朴な構成で発生した問題点や、プロダクトの成長に合わせて、より活用しやすいように改善を行なった結果など成果の一部を公開したいと思います。 CloudWatch Logsの限界 ログのインフラ構成の改善 構成の説明 ログのファイルへの永続化までの部分 S3から検索エンジンに送る部分 ログの検索、可視化の改善 まとめ CloudWatch Logsの限界 現状のログの構成につ…

大量イベントを記録するWeb APIが必要になった背景 Web APIシステムのアーキテクチャ 発生した問題 問題への対応 保存先の変更 運用の変更 小噺 S3のオブジェクトサイズとFluentbitのトレードオフ Athena + QuickSight料金の話 まとめ img{ display: inline-block; box-sizing: border-box; border: solid 1px #333; } KADOKAWA Connected Integrated Data Service部の中沢です。 私の部署ではイベントを記録するためのWeb APIを開発・運用しています…