Kibana

皆様こんにちは。インフラエンジニアのryuhei55225です！ 前回の記事は【Kibana 入門】という形で「Elastic Stack」(Kibana+Logstash+Elasticsearch)をLinuxサーバにインストールして、簡単なデータのグラフ化を紹介させて頂きました。 こちらの記事では、MWのインストール等のサーバ構築がメインとなってしまい、具体的なElasticsearchへのデータ投入やデータ検索・グラフ化に関しては紹介することが出来ておりませんでした。 （データ検索・グラフ化に関しては、完全に省略しておりました。。） ということで・・・ 今回の記事は「Kibana 基礎…

皆様、お久しぶりです。前回のエントリーから間が空いてしまいましたが、また少しずつブログの更新をしていきたいと思っています。今回は Elasticsearch と Python を使って空間検索をしてみようと思います。 以前にも Elasticsearch に関して以下のエントリーを書いているのでぜひ読んでみてください。 www.gis-py.com なお、Elasticsearch のインストールや設定などについては本エントリーでは割愛しています。 実行環境 macOS 11.3.1 Python 3.9.6 Elasticsearch 7.17.0 elasticsearch 8.0.0(E…

はじめまして。rks_mnkiです。 ラクスでひっそりとインフラエンジニアやってます。 特技は、蚊に刺されないことです。 さて今回は、「Apacheアクセスログに関するログ解析手法」について、実際に検証を行った一例も踏まえながらご紹介したいと思います。 目次： １．Apacheのアクセスログとは ２．「ログ解析」の必要性 ３．確認したい具体的な情報 ４．利用するツールの紹介 ElasticSearch Logstash Kibana ５．実際に導入してみる WEBサーバの準備 dockerコンテナによるログ解析環境を構築 各種設定 データ投入 ６．結果と考察 ７．まとめ 備考 参考文献

皆様こんにちは。インフラエンジニアのryuhei55225です！ 学生時代は微生物の研究をしておりましたが、新しいことをやりたいと思い2019年にラクスに新卒入社し、現在は楽楽精算のインフラ基盤運用から各種デプロイまでを担当しております。 特技は野球とサッカーです。 球技なら何でも得意です。（ということにしておきます。） IT技術を勉強し始めたのはラクスに入社してからなので、インフラエンジニア歴は約2年半になります。 今回はそんな私でも使うことが可能な、Kibanaに関してです。 今回の記事では「Kibana入門」ということで、Linux上にKibana+Logstash+Elasticsea…

京都研究所・TechLabの田中です。マイクロアドでは、先日正式提供を開始した*1UNIVERSE Adsの開発と並行して、UNIVERSE Adsのサービス監視用の基盤も整備してきました。 今回はそんなUNIVERSE Adsの監視基盤の概要をご紹介します。 サービス監視の必要性 監視対象となるサービスの構成 サービス監視の方針 監視基盤の構成 データの収集 ストレージ 可視化 アラート 監視の監視 最後に サービス監視の必要性 UNIVERSE Adsは、24時間365日稼働しており常に大量のトラフィックを高速に処理する大規模システムです。このシステムは、互いに疎結合な関係にある100個以…

さて、本日は Elasticsearch と Kibana を使って地図データを可視化してみようと思います。ただ、Elasticsearch と Kibana のインストールや使い方については本エントリーでは紹介はしませんので、興味のある方は公式ドキュメントを読んでみてください。 www.elastic.co Elasticsearch とは Elasticsearch は Apache Lucene をベースにしたオープンソースの検索エンジンです。近年では利用者が急増して、現在では最も人気のある検索エンジンとなっています。Elasticsearch は元々全文検索の用途で開発されましたが、そ…

こんにちは富士通研究所のymokです。 我々の部署ではストリームデータ処理基盤技術Dracenaを開発しています。 今回は、DracenaのベースとなっているFlinkを題材として、リアルタイム交通データをFlinkに流し込んで可視化する一連のシステム構築の様子を end-to-end でチュートリアルとして示したいと思います。

概要 ハニーポットを運用してみたくなったのでしてみようという日記です。 本記事ではハニーポットの概要説明、サーバのレンタル、ログ分析用のElasticsearch、kibanaの導入までを行います。 ハニーポットとは ①運用者がVPSとかにハニーポットを作る ②攻撃者がハニーポットに攻撃を仕掛ける ③ハニーポットがログを出力する ④ハニーポット運用者(※1)がログを観察する 運用者がログを観察することで、どのような攻撃が仕掛けられるか分析することができる。 (※1) ハニーポットの運用者は巷ではハニーポッターと呼ばれるらしい ハニーポットの運用時に気を付けること ハニーポット自体に脆弱性を作ら…

SRE チームの @fohte です。普段は音楽ゲームを嗜んでいます。 シンクロ・フードでは、弊社が提供する求人飲食店ドットコムの求人検索にて、MySQL から OpenSearch を使った全文検索に切り替えました。 本記事では、その OpenSearch を導入する上で障壁となったことや、それらの解決策について紹介します。 なお、本記事では、インフラ面で課題となった以下のテーマについて扱います。 認証・認可の設計 負荷検証によるスペックや設定の検討 アプリケーション面での MySQL と OpenSearch のデータ同期や検索の工夫については、以下の記事をご覧ください。 tech.syn…

はじめに ここ最近はフィッシングサイトの検出と通報をメインに行いつつ、ハニーポットに関してはログの解析を空いた時間に実施しておりました。 しかしながら、流石に数日間も放置するとなるとアクセスログが大量に溜まっていき捌き切れないレベルにまで達していました。 そこでログの収集と可視化の環境を実現するためにELK環境の導入に試行錯誤と悪戦苦闘を重ねていった結果、今後はWOWHoneypotの稼働を終了し、別のハニーポットであるT-Potを新規に導入することにしました。 上記の結論に至った経緯といたしまして、簡潔に記載いたします。 理由 当初ELK環境の導入方法を調査した際、ハニーポット用のサーバとロ…

エクストーンの豊田です。エクストーンではWebアプリケーションの開発とともにインフラの構築や運用等も行っています。どのような構成でサービスを実現するかはサービスの種類や機能、規模等によって異なるのですが、今日はシンプルなウェブサイトをホスティングする際にエクストーンでどのようにインフラ構築を行っているかをお話ししたいと思います。 インフラ構築で主に利用しているサービス・技術スタック ほぼ前回の記事のおさらいになりますが、改めて記載しておきます。 API Server, 定時処理ワーカー AWS EC2, ECS Fargate (Ruby on Rails, express) Lambda (…

オールナイトニッポン55周年記念 忙しい。時間がいくらあっても足りない。優先度の高いタモリのオールナイトニッポンを聴く。星野源がゲストで、二人の音楽談義が良かった。 ラジコのタイムフリーで聴ける量ではないので、ピックアップして録音しておいた。 ジョギング 朝はジョギング。いつものように2km。6分42秒のペース。ジョギングしながら聞いてたのは、佐久間宣行と秋元康の2時間。相変わらず仲がいい。 パンを焼く 昨夜仕込んでいたパンを焼く。19：00ぐらいに仕込んでも、寝る前にちゃんとパンチグしておけば膨らむ。 アクセスログの解析 Kibanaでアクセスログの解析をしようとしていたけど、なかなかうまく…

■良かったこと①ElasticSearch/kibanaのハンズオンをやってみたことログの接続設定さえやってあげれば少ない手数であっという間にログの可視化が行えた。さすがマネージドサービス。ElasticserviceにKinesisを使ってデータを連携してkibanaで可視化する。QuickSightとの違いが気になって調べてみた。 ②息子にお使いに行かせてみたことマヨネーズが足りなかったので試しにお願いして見たら、近所のスーパーにいってちゃんと買ってきてくれた。おつりもちゃっともらってきた。ちゃんと教えたことがなかったのに意外としっかりしてるじゃないか(笑) ③チキン南蛮を作ったこと息子が…

前回の記事でインプット不足と感じてると書きましたが、問題点と改善策を考えていきます。結論 現状の問題点 1. 情報が偏っている 情報収集先（以下ソース）とその内容に偏りが生じています。新サービスや話題のトピックといったタイムリーな情報は入ってきやすいのですが、話題性のあまりない情報については能動的に調べないと入ってこないという傾向があります。 一方で、色んなジャンルの大量のテック記事を集めたとしても現実的に読みきれない記事が増えるだけになってしまいます。現状では自分にとって有用な記事であってもタイトルで判断して取りこぼしている可能性があって良くないです。。 2. 情報の集め方が非効率 当然なが…

予定していた夜勤が急遽延期になった。 昼に予定を入れていたので、予定が狂うなーと思う。ただ、明日は雪の予報なので、助かったというべきなのかも。 何を目指しているのかがわからなくなってきたけど、調べながら色々と作るのが面白い。効率的なコードとか、スマートな実装はできてないけど、パーツを集めて試行錯誤するのが面白い。 作ってみて面白かったのは、俺のダッシュボード。 Ansibleの構築はおおよそ見えてきた また、CI/CDももう少しっていうところかな。自分の管理していないリポジトリでの開発が難しい。 Access.logをgrafanaかKibanaで参照できるようにしたい。

こんにちは、検索チームのよこやまです。 以前趣味である文書を書いたところはてブホットエントリ入りして喜んでおりました。技術記事もそれぐらい見られたらなあと夢見ております。 ビザスクでは 1 年に 1 回 Elasticsearch のバージョンアップを行っております。 Elastic Cloud を利用しているためローリングアップデートも可能なのですが、リリースオペレーションの都合上、都度新たな Elasticsearch deployment を作成しインデックスを載せ替える方式を取っております。 建て替えを行う際に、手作業で Elastic Cloud の Web コンソールや Kiban…

WSL 環境に Elasticsearch の環境を整えたくて試してみた。 www.elastic.co こちらのサイトを試します。 1. Docker Image を 持ってくる docker pull docker.elastic.co/elasticsearch/elasticsearch:8.6.1 2. Elasticsearch 用の docker network を作成 docker network create elastic 3. docker を実行 docker run --rm --name es01 --net elastic -p 9200:9200 -it doc…

MLOpsを体系的にまとめた論文「Machine Learning Operations (MLOps): Overview, Definition, and Architecture」を読んだので、要点をまとめました。 元論文：https://arxiv.org/abs/2205.02302 TL;DR 「MLOpsって何？」に答えた論文 MLOpsに関わる文献調査・ツール調査・専門家インタビューを行った MLOpsに必要な原理・要素・ロール・アーキテクチャをまとめた MLOpsの言葉の意味を定義した MLOpsの課題をまとめた 本文要点 0 Abstract MLOpsは今だに漠然とした言…

FirelensでFluentBitを用いてCloudWatch Logsにログを送る場合にはFluentBitのプラグインが利用可能です。 GitHub - aws/amazon-cloudwatch-logs-for-fluent-bit: A Fluent Bit output plugin for CloudWatch Logs 利用方法は簡単でOUTPUTセクションでNameにcloudwatchを指定して必要なパラメータを設定すればいいです。 [OUTPUT] Name cloudwatch Match * region us-east-1 log_group_name fluen…