Kibana

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer）こちらはAzure編の記事になります。AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編1 acro-engineer.hatenablog.com本記事では運用…

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編1 acro-engineer.hatenablog.com 本記事では運用編２…

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAzure編の記事になります。AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 ＜運用編２ 近日公開予定!!＞ 本記事では運用編1として、Elast…

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 ＜運用編２ 近日公開予定!!＞ 本記事ではElastic Cloudを運用す…

はじめに こんにちは、LANSCOPE セキュリティオーディター開発チームの宮﨑です。 LANSCOPE セキュリティオーディターでは、アプリケーションログなどの集約、閲覧にElastic Stackを活用しています。 今回は、Elasticsearchのバージョン8.11で追加されたElasticsearch Query Language (ES|QL)を活用して、nginxのログの集計を行いました。 実際に行った方法についてご紹介します。 ES|QLは現在最新のElasticsearch 8.12ではテクニカルプレビューの機能です。本番環境では使用しないでくださいとの警告がドキュメントに記…

この記事は Elastic Stack (Elasticsearch) Advent Calendar18日目の記事です。こんにちは、Elastic認定アナリストのshiroiです。 前回のブログでは、「Elasticsearch」からCustom Mapを読み込む方法について紹介しました。参考： acro-engineer.hatenablog.comおさらいをすると、KibanaでCustom Mapを読み込む場合には、以下の2つの方法があります。 「Elasticsearch」からCustom Mapを読み込む 「GeoServer」からCustom Mapを読み込む 第二弾では、「Ge…

デジタルイノベーションラボのIです。 QUOカードPayのElasticsearch/Kibana環境でユーザ単位の権限管理をできるようにした件について書こうと思います。 背景 AWSのALBのログをElasticsearchに取り込み、Kibanaで可視化しています。 マネージドサービスであるOpenSearch Serviceを使用しているのですが、VPC外部からアクセスするためにnginxをプロキシとしてKibanaにアクセスしています。そのプロキシECSのALBリスナーにおいてCognito認証を組み込んでいました。下記のような構成です。 今回、あるユーザにおいて特定のフィールドを閲覧…

自分でノード構築することにして、他に何を決めたらいいのか分からないので聞いてみた！ 以下は、ゲーム用ノードを構築・運用するうえで、あらかじめ決めておいたほうが良い主な項目です。すでに議論済みの「報酬分配」「ステージ管理者とノード運営者の役割分担」など以外にも、技術面や運用面で整理しておくとスムーズに稼働できます。 1. ネットワーク設計・コンセンサスまわり 1. チェーンのタイプ • パーミッションドチェーン（権限制限でノードを立てる人を限定する）か、パーミッションレスチェーン（誰でもノードを立ち上げられる）か。 • ゲーム仕様・分散度・セキュリティ要求に応じて決定。 2. コンセンサスアルゴ…

こちらはバイセルテクノロジーズ Advent Calendar 2024 の20日目の記事です。 昨日は辻岡さんによる「品質とスピードを両立するためにチーム体制を変えている話」でした。 こんにちは。データエンジニアの遠藤です。現在、私はデータサイエンス部に所属して「Pocket」と呼ばれる全社データ基盤の開発・運用に従事しています。 本記事では、ジョブエクスプローラを用いることでBigQueryのボトルネックを容易にリサーチできるようになった件について報告します。 Pocketについて ダッシュボードでのBigQueryモニタリング Google Cloudが標準で提供するダッシュボードの利用…

はじめに こんにちは。インフラエンジニアの鈴木です。 この記事は、株式会社asken (あすけん) Advent Calendar 2024 の20日目の記事です。 あすけんでは、一部機能でOpenSearchを使い始めています。 たとえば、前にバックエンドの高橋さんがOpenSearchを活用したメニュー検索を記事にしてくれています。 今回は、OpenSearchを商用サービスで半年運用した経験で得られたノウハウとして、商用運用における注意点や、パフォーマンスを上げるための方法を記載します。 ※本記事では、Amazon OpenSearch Service（AWS上で提供されるOpenSea…

前回までの記事： ELK Stackの利用1：はじめに ELK Stackの利用2：ログ自動取得 ELK Stackの利用3：ログ自動取得その2 ELK Stackの利用4：ESデータ投入（Logstash編） ELK Stackの利用5：ESデータ投入（Bulk API編） ELK Stackの利用6：半年間分データ投入 ESへのデータ投入の目的は、データをグラフ化して問題の早期発見や調査につなげるためだった。前回まででデータ投入の話は一通り終わったので、それらのグラフ化について簡単に述べてみる。 グラフ表示はKibanaを使った。インストールはパッケージを取ってきて解凍するだけの簡単なもの…

この記事は10Xアドベントカレンダー2024の18日目の記事になります。 昨日はJOJOさん(@joj0hq)が「10Xのエンジニアとして入社から2年目を振り返る」という記事を公開しているので、そちらもぜひご覧ください。 はじめに 取り組んだプロジェクト 類似商品検索の実装 新しい検索精度モニタリングの導入 トップ画面での推薦枠A/Bテスト アルゴリズム アーキテクチャ 検索系RPCのレイテンシ改善 ボトルネック 効果 Elasticsearchのバージョンアップ 課題 互換性の調査 リリース手順 バージョンアップによるパフォーマンス改善 これからの取り組み LLMの活用 リランキング おわり…

今回のテーマはELK Stackの利用。"ELK Stack"はElastic社が提供しているプラットフォームで、頭文字になっているElasticsearchは全文検索、LogstashはElasticsearchへのログ投入、Kibanaはログ解析、の各アプリケーションである。ELK Stackはその他アプリケーションも含んでいるのだが、自分が実際に使ったのは上記3アプリだけだったので、それらについて書こう。 プロジェクトの別部署が、日々算出される大量のログデータをElasticsearchに保管する仕組みを構築した。そこで以前作成した、ファイルからログを切り出して解析するプログラムを作り変…

Amazon OpenSearch Serviceを作成してみた。 aws.amazon.com 実践！ １．ドメイン作成 １－１．AWS - OpenSearch １－２．「ドメインの作成」 １－３．下記を入力 名前： ドメイン名：my-opensearch-domain ドメインの作成方法： ドメインの作成方法：標準作成 テンプレート： テンプレート：開発/テスト デプロイオプション： デプロイオプション：スタンバイが無効のドメイン アベイラビリティーゾーン：1-AZ エンジンオプション： バージョン：2.17（最新） 互換性モードを有効化：□ データノード： Instance famil…

こんにちは、NTTコミュニケーションズの現場受け入れ型インターンシップ2024に参加した大学2年生の大堀です。X（旧:Twitter）では@LimitedChan（限界ちゃん）というハンドルネームでサイバーセキュリティに関して活動しています。 普段は大学で情報系の学習をしながら、個人的に脅威インテリジェンスをはじめとしたサイバーセキュリティに対して興味があり、さまざまな学習に取り組んでいます。 2024年8月26日〜9月6日までの2週間、「脅威インテリジェンスを生成・活用するセキュリティエンジニア/アナリスト」としてNetwork Analytics for Security（通称:NA4Se…

ISUCON 14 に id:utgwkk, id:wass80 と「ミレニアムサイエンススクール」というチーム名で参加した。 結果は 28875 点で 22 位！去年は fail して最下位だったので反省を活かすことができたのでは？ 一昨年に Kibana / Elasticsearch / Filebeat で解析環境を組んでサクセスしていたが、今年は OpenTelemetry (Otel) をベースにモニタリング環境を作り直し、バックエンドは ClickHouse、フロントは Grafana の構成でやってみた。これがなかなか良かったので紹介。 コンテスト当日のアプリ改善周りは utg…

Advent of Cyber 2024のDay2チャレンジしました！ と言っても問題文見ながら実際に操作して問題に解答するだけなので、時間があれば簡単にできる内容となってます。 Elasticのkibanaの画面を用いてアクセスログをもとに怪しいところを確認していく流れとなっています。 kibanaって単純なアクセスログ見るぐらいでしか使ったことないですが 「process.command_line」ってカラムも初めて知りました。。 仕事でもkibana使うことはあったのですが実際に調査目的で色々と操作すると知らないことも学べていい感じに遊びながら勉強できるのはいいですね！ 明日以降も眠たく…

Grafanaは何ができる？ 他の似たツールとの違いメリットは？ データソースに使えるものが豊富（InfluxDB、Prometheus、Graphite、OpenTSDB） データソースごとにそれ用のクエリ作成パネルが用意されている。 データの収集は別のfluentbit,fluentd,prometheusなどと組み合わせる必要がある。 可視化のためのダッシュボードのカスタマイズ性が高い。 Prometheusなど時系列データベースから収取したデータの可視化向きなUIでダッシュボードを作成できる。 Lokiと連携してログの可視化、検索もできる。 これといった使い所は？類似ツールとの使い分け…