Firelens

どこでもかんたんVR「スペースリー」のインフラを担当しています佐藤です. スペースリーではメインのRailsアプリのアプリケーションログをdatadogで管理していますが， 新たにAWS ECS Fargate上でアプリを実行・運用するときでも， アプリケーションログはdatadogに集約して監視・運用したいという要件があります． これを実現する方法として AWS Firelensを導入したのでその詳細についてまとめました. 1. 前提 Firelens とは Firelens はAWSが提供するログ転送エージェントです． 従来AWSにおけるログ転送手段としては，AWS CloudWatch …

【今日の振り返り】 振り返った時に、無駄だった言えると過ごし方でも構わないとは言ったものの、 午前中に行った自己分析はボロボロだった。 自分のこととなると全く言葉が出てこないし、それを引きずったまま午後に突入 本当に自分のことだから腹が立つ。 一番わかっているはずの人が分かっていないだなんて。 PFにも自信がなくなってくるじゃないか。どうにか考えろよ。 ◯ Docker利点② アプリケーション作成においてロギングは必要な要素 ロギングとは？エラー等のログを記録する仕組みのことこれがないと問題が発生した場合どこで発生したもかの経過把握、原因調査が出来ない 企業における本番環境では、Amazon …

この記事はBeeX Advent Calendar 2020の12/12の記事です。 EKSのデータプレーンをどう選ぶか考えたとき、個人的にはFargateを積極的に使いたいところですが、まだ制限も多くて要件にフィットしない場合もあります。 そんな時に選択肢として挙がるManaged Node Groupですが、ReInvent2020でSpotインスタンスの利用できる機能が発表されたり、また使いやすくなったと感じています。 ここではそんな、Managed Node Groupで展開したEC2ノードのランタイムセキュリティをチェックする方法としてFalcoを使う手順を書いていきます。 概要とし…

こんにちは。サービス開発課の尾崎です。 普段は自社サービスであるCloud Automatorの開発や運用を担当しています。 re:invent 2020のセッションレポートをお届けします。参加したセッションは「Open-source observability at AWS」です。 どうしてこのセッションに参加したのか マイクロサービス化の流れに乗りで、昨今はobservabilityも非常に注目されています。 また、マイクロサービスはKubernetesなどに代表されるようにオープンソースの役割がとても大きいので、AWSとオープンソースの関わり方について知りたいなという思いから参加しました…

こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 本記事はエムスリー Advent Calendar 2020 の8日目の記事です。 この記事とかこの記事とかこの記事で 書いているように、弊社ではオンプレ環境で稼動するサービスのAWSやGCPへの移行が進行中で、 ここ数ヶ月でクラウド移行作業が自分の業務の9割を占めています。 いろんなサービスのクラウド移行(主にECS Fargate)をやってきて知見が貯まってきたので一旦まとめてみます。 当初は何を考慮しなければいけないのかもよく分かっていませんでしたが、数をこなした結果、気をつけるポイントが分かってきまし…

どこでもかんたんVR「スペースリー」のインフラを担当しています佐藤です. スペースリーではメインのRailsアプリのアプリケーションログをdatadogで管理していますが， 新たにAWS ECS Fargate上でアプリを実行・運用するときでも， アプリケーションログはdatadogに集約して監視・運用したいという要件があります． これを実現する方法として AWS Firelensを導入したのでその詳細についてまとめました. 1. 前提 Firelens とは Firelens はAWSが提供するログ転送エージェントです． 従来AWSにおけるログ転送手段としては，AWS CloudWatch …

こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際におこなった構築方法についていくつか紹介します。 今回の構築の簡単な全体構成図は次のようになります。 今回は、 ECS/Fargate のログを S3 にルーティングする Amazon ES にログをルーティングする VPC ア…

初めまして。株式会社カミナシPMの@gtongy1です。 みなさんは、インフラのコンテナ化はお済みでしょうか？ 弊社は今年6月頃にサービスを正式にリリースしたのですが、それ以前はEC2 + ELBでインフラを構築しており、それまでになかなかコンテナ化をしたくても出来ない状態でした。 各社様々な背景はあると思いますが、自分は コンテナ化をすればいいのは、なんとなくわかる。ただ、どこから始めたらいいんだろうか EC2構成でも動いているがために、なかなか変えようとする一歩目が踏み出せない コンテナ化を本番環境で構築した経験がない。実際にどんなことが課題として上がるんだろうか あたりに不安を感じていま…

CoffeeScript で書かれた hubot が ECS + Fargate 上で稼働中なのですが、これに Datadog の監視を入れてみます ChatWork 経由で hubot に命令しているのですが、ChatWork のメンテナンス等があるとメンテナンス後も hubot がエラーで落ちたままになったことがあったので、hubot を監視して異常があれば、Slack に通知する機能作ります コンテナーのメトリクスを取得 Datadog Agent をインストール まずは、Datadog 管理画面の Integrations から Amazon Fargate をインストール 次はホスト…

はじめ こんにちは、アプリケーションエンジニアとして働いてます。キム ソンジュです。 今回の記事では自分が参加したPJで利用した、インフラ構成から、CI/CD環境を利用して簡単にアプリケーション開発ができる方法について紹介しようと思います。 システム投入・設計背景 既存のレガシーシステムには、次の問題がありました。 デプロイの手順が複雑で時間かかり、面倒な作業が多い 環境ごとにミドルウェアのバージョンが異なる この問題を解決し、かつ新しい技術にチャレンジするために、チーム内で次の内容で進めるようチームで決めました。 Dockerを活用して環境ごとの差をなくす GitHubでソースコードを管理す…

fargateのログはclowdwatchを経由してdatadogへ送る方法がありますが、 datadogが推奨しているfirelensを使って直接datadogへ送る方法についてメモです。 といってもやることは単純でアプリケーション用のコンテナにsidecar構成でfluentbitのコンテナを起動させるだけです。 コンテナ定義のサンプル { "family": "foo", "taskRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/foo_ecs_task_iam_role", "executionRoleArn": "arn:aws:iam::XXXX…

ECS がログを Firelens で出力するときにタスクが止まった 事象 なにが駄目だったか typo がエラーにならなかったのはなぜか 参考サイト ECS がログを Firelens で出力するときにタスクが止まってハマったときのメモ。 ECS がログを Firelens で出力するときにタスクが止まった ECS は CDK で構築していてログは awslogs ログドライバーで CloudWatch に出力してるんだけど、awsfirelens ログドライバーで S3 に出力するように変えて CFn スタックを更新したらタスクが止まって上がらなくなったときのことをメモしておく。 事象 E…