fluentd

はじめに 前々々回、前々回、前回に続いて４つ目です。 Grafana + Loki + Fluentd + rsyslog（+nginx）を使った構成でログ可視化機能を作ります。 タイトル通り、本記事ではGrafana Lokiのインストールを行います。

はじめに 前々回と、前回に続いて３つ目です。 Grafana + Loki + Fluentd + rsyslog（+nginx）を使った構成でログ可視化機能を作ります。 タイトル通り、本記事ではFluentd（td-agent）のインストールを行います。

Fluentdとは？ Fluentd はオープンソースのデータコレクターです。 データソースとバックエンドの間に位置することで、両方の環境を独立させつつログ収集を行うことができます。 社内で Fluentd に触れる機会が多かったため、今回取り上げました。 Fluentd は簡単に動作確認ができ、さまざまなプラグインを利用できます。今回はその中から Buffer プラグインを試してみます。 この内容は、まだ Fluentd に触れたことがない、知らない人へ向けたものです。 記事内の手順で手元で動かすこともできるので、気になる方は実際に触ってみてください。 Fluentdの動作確認 動作確認は、…

はじめに 私の性格上、機能を作ったら満足するので、その後どうなろうが知ったことではないのですが世の中そうはいかないみたいです。面倒ですね。 どうやら世間一般ではログで痕跡を残しシステムの不具合や異常なアクセスを監視する雰囲気を感じました（すっとぼけ）。この度Syslogサーバを作成することにします。作るけど誰が見るのかは知りません。私は見たくない。※AIや機械学習はこの記事で取り上げません。

こんにちは、マネージドサービス部 大城です。 リバースプロキシ（今回の場合nginx）のログをNew Relic Logsに連携して見える化してみます。 New Relic APMを入れたらデフォルトでログが自動転送されるので便利です。APMが対応している言語であればAPMを入れるのが手っ取り早いです。 ただ、APMが対応していない言語やアプライアンス製品などAPMを入れるのが難しい環境は、リバースプロキシ（今回の場合nginx）があればログをNew Relic Logsに連携することである程度見える化することができます。制限がある環境で見える化したい場合の参考にしてください。 環境準備 やっ…

この記事では、AWS の EC2 や ECS 上で動作する fluentd から Workload Identity を利用してBigQueryにログを送る方法を紹介します。 背景 AWS から BigQuery にアクセスする際、従来はサービスアカウントキーを利用して認証を行なっていました。しかし、サービスアカウントキーは厳重な管理が必要です。これに対して、Workload Identity を利用すれば、管理が必要なキー自体をなくすことができ、運用の手間を軽減することができます。先日 googleauth gem 1.5 がリリースされ、Ruby からも AWS からのWorkload I…

背景 こんにちは、キュービックでSREをやっているYuhta28です。キュービック内のテック技術について発信します。 Datadogに移行してから数ヶ月が経ちました。メディアサーバーへのエージェント導入や外形監視設定など一通り完了し今の所運用できていますが、しばらくして課題が出てきました。 ログストレージコスト増加 Datadogのログ料金はログの保持期間、量によって変わる従量課金制1です。弊社は15日間の保持期間で契約していて、それより古いログはAmazon S3にアーカイブされる運用にしています。 アーキテクチャ図 アーキテクチャ図 以前の記事でも書いたとおりDatadogへのログ転送はO…