fluentd

はじめに 前々回と、前回に続いて３つ目です。 Grafana + Loki + Fluentd + rsyslog（+nginx）を使った構成でログ可視化機能を作ります。 タイトル通り、本記事ではFluentd（td-agent）のインストールを行います。

Fluentdとは？ Fluentd はオープンソースのデータコレクターです。 データソースとバックエンドの間に位置することで、両方の環境を独立させつつログ収集を行うことができます。 社内で Fluentd に触れる機会が多かったため、今回取り上げました。 Fluentd は簡単に動作確認ができ、さまざまなプラグインを利用できます。今回はその中から Buffer プラグインを試してみます。 この内容は、まだ Fluentd に触れたことがない、知らない人へ向けたものです。 記事内の手順で手元で動かすこともできるので、気になる方は実際に触ってみてください。 Fluentdの動作確認 動作確認は、…

はじめに 私の性格上、機能を作ったら満足するので、その後どうなろうが知ったことではないのですが世の中そうはいかないみたいです。面倒ですね。 どうやら世間一般ではログで痕跡を残しシステムの不具合や異常なアクセスを監視する雰囲気を感じました（すっとぼけ）。この度Syslogサーバを作成することにします。作るけど誰が見るのかは知りません。私は見たくない。※AIや機械学習はこの記事で取り上げません。

はじめまして、Azuma（@azuma_alvin）です。現在大学院の1年生で、2024年2月から4ヶ月間ミラティブのインフラチームにインターンとして参加しました。普段はインフラやMLOpsといった領域に興味があり、最近はVim環境の整備がマイブームです。 本記事では、ログ基盤をFluentdからFluent Bitへ部分移行した経緯とその2種類の監視ツールの実装についてお話しします。 記事の最後に、インターンから見たインフラチームの特徴と私が4ヶ月間で学んだことを紹介しています。興味がある方は末尾までスクロールしてぜひご覧ください。 1. 背景と目的 2. ミラティブのログ基盤について 3.…

この記事では、AWS の EC2 や ECS 上で動作する fluentd から Workload Identity を利用してBigQueryにログを送る方法を紹介します。 背景 AWS から BigQuery にアクセスする際、従来はサービスアカウントキーを利用して認証を行なっていました。しかし、サービスアカウントキーは厳重な管理が必要です。これに対して、Workload Identity を利用すれば、管理が必要なキー自体をなくすことができ、運用の手間を軽減することができます。先日 googleauth gem 1.5 がリリースされ、Ruby からも AWS からのWorkload I…

背景 こんにちは、キュービックでSREをやっているYuhta28です。キュービック内のテック技術について発信します。 Datadogに移行してから数ヶ月が経ちました。メディアサーバーへのエージェント導入や外形監視設定など一通り完了し今の所運用できていますが、しばらくして課題が出てきました。 ログストレージコスト増加 Datadogのログ料金はログの保持期間、量によって変わる従量課金制1です。弊社は15日間の保持期間で契約していて、それより古いログはAmazon S3にアーカイブされる運用にしています。 アーキテクチャ図 アーキテクチャ図 以前の記事でも書いたとおりDatadogへのログ転送はO…

本記事について Fluentdは機能としてはシンプルですが、 高負荷環境で安定的に運用するためにはある程度の知識が求められます。 そこで、本記事ではそれなりにログ流量の高い環境下で私が考慮した観点をまとめました。 本記事では、KubernetesでFluentdの信頼性を担保するための3つの観点に加え、 「高負荷時の安定運用」に焦点を当て、 負荷分散 適切なモニタリング トラブルシューティングとチューニング の3つの観点について整理しています。 前提となるアーキテクチャ アーキテクチャとしては実際に私が構築した図の構成を前提とします。 アーキテクチャの特徴 1つのKubernetesクラスタに…