Kibana

さて、本日は Elasticsearch と Kibana を使って地図データを可視化してみようと思います。ただ、Elasticsearch と Kibana のインストールや使い方については本エントリーでは紹介はしませんので、興味のある方は公式ドキュメントを読んでみてください。 www.elastic.co Elasticsearch とは Elasticsearch は Apache Lucene をベースにしたオープンソースの検索エンジンです。近年では利用者が急増して、現在では最も人気のある検索エンジンとなっています。Elasticsearch は元々全文検索の用途で開発されましたが、そ…

こんにちは、アクロクエストテクノロジー株式会社でElastic Stackのコンサルティング業務を担当している吉岡です。本記事は、Elastic Stack (Elasticsearch) Advent Calendar 2020 の1日目の内容になります。目次は以下です。 Elastic Stackリリース概要 Elastic Stackのユースケース ■Search(1)検索機能 検索の高速化 ヒープメモリ使用量の大幅削減（同時検索性能の向上） 非同期検索のサポート ■Search(2)エンタープライズ検索 エンタープライズ検索ソリューションの整理 Enterprise SearchがKi…

概要 Snapmartの検索サーバーはAmazon Elasticsearch Service(以下ESS)で運用しているのですが、Kibanaを使ってデータ分析をしたくなりました。 ESSはVPC内にあるため、アプリケーションサーバーからElasticsearch APIで検索実行は問題なく行えますが、 管理者PCからKibanaのエンドポイントへのアクセスはできません。 そのため、ESSの前段にALBを配置してアクセスする必要があります。 設定は以下の記事を参考にしました。 dev.classmethod.jp しかし、 ESSのPrivate IPは可変なので、定期的にALBのターゲット…

ElascticSearch + Kibana の構成は鉄板ですが、毎回、ゼロからインストールのはやや手間です。 そこで、今回は docker-compose を使って秒殺で ElasticSearch + Kibana 環境を構築する手順をメモしておきます。 今回は CentOS 7.2 上に 7.2.0 の ElasticSearch / Kinaba を構築しました。 尚、docker や docker-compose がインストールされていない場合は CentOS7 に Docker ＆ Docker Compose をインストールする の手順を参考にインストールしておきます。 但し、…

ElasticSearch + Kibana + Fluentd で NetFlow コレクタを作成する手順をメモしておきます。

マイクロサービスパターン 同書の読書記録と感想、長いので３回に分けた最終回です。

こんにちは、@shin0higuchiです😊昨日は 第40回となる、Elasticsearch勉強会がオンライン開催されました。 www.meetup.com 開催概要（Meetupイベントページより抜粋） =============================================== ■開催日時 2/25(木)19:30～21:00 ■内容 登壇 1.株式会社ZOZOテクノロジーズ 有村和真さん 「ZOZOTOWNとElasticsearch(ElasticCloud)のこれまで/これから」2.Acroquest 樋口慎さん 「Searchable Snapshotでコスト削…

こんにちは、技術5課の長崎です。 Amazon Elasticsearch Service(以下、ES)で、WEBサイト内の各リンクに対してどれくらいアクセス数があるのかを分析して、最終的にkibanaで可視化したいなーと思ったのでやってみます。 ESとは AWSのマネージドサービスとして、オープンソースソフトウェアであるElasticsearchを利用する事ができます。 Elasticsearchは、投入されたデータの分析及びkibanaを使った可視化を実現できます。 構成 前提 WEBサーバ用のEC2インスタンスへCloudWatch Agentをインストールし、CloudWatch lo…

親: Design it を読んだ - t_hazawaの日記 概要 14章 15章 16章 17章 概要 第三部には、アーキテクチャ作りに使える38個のアクティビティが紹介されているのだった 第二部までと異なり、かなり素早く読める 14章 問題を理解するために使えるアクティビティ 第三部 いろいろなアクティビティから 1分 14章問題理解のティ 1.5分 229 問題を定義しよう ムのビジネス目標を定義しよう システム 230 ティ1 たった一つを選べないならどれ？ 3.5分 (12行) トレードオフが難しいときに 選択はこのティの中で変更可能 厳しい会話を早めにすることが目的 (大事そう)…

データ基盤についての本が出ると聞いて楽しみにしていた本。 Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]作者:下田 倫大,寳野 雄太,饗庭 秀一郎,吉田 啓二発売日: 2021/02/18メディア: Kindle版 章立ては以下。 第1章 データ基盤の概要 第2章 BigQuery のコンセプトと利用方法 第3章 データウェアハウスの構築 第4章 データレイクの構築 第5章 ETL/ELT 処理 第6章 ワークフロー管理とデータ統合 第7章 データ分析基盤におけるセキュリティとコスト管理の設計 第8章 BigQuery へのデータ集約 第9章 ビ…

令和３年です。１ヶ月遅れで昨年のやりたいこと100個の反省と今年のやりたいこと100個。 2020年やりたかったこと100個 ブログ更新 毎月 ブログ更新 毎週 月1、000pv 月3、000pv レビュー書く 食事 レビュー書く 本 レビュー書く 家電 レビュー書く アニメ・映画・ドラマ アフィリエイトで小遣い稼ぐ アプリケーション作る サービス考える サービス作る ボールペン字講座受講 毎週10km走る マラソン走る 腹筋を割る 週2回運動する 最近の音楽聴く 映画見る アニメ見る カラオケ行く 国内旅行に行く 温泉に行く 月2回は有給とる 毎日コード書いたり勉強したりする時間を持つ 料理…

概要 RDBとの違い_概要 テキスト処理 データ格納時 データ格納例 データ参照時 データ参照例 マッピングタイプ(テーブル)の特徴 マッピングタイプの定義 フィールド データタイプ 制約(Constraint) デフォルト値 マッピングタイプ変更 マッピングタイプ削除 参考になる記事 概要 拡張性に優れた全文検索エンジン、複数DBの横断検索が可能 分析ツール：リアルタイムデータ分析、ログ解析などの分析ができる 関連ツール：ログ集約のLogstashやfluentd、可視化ツールのkibanaと組み合わせて使うことが多い RDBとの違い_概要 ElasticSearchは気軽にデータを保存、削…

いつでもElasticsearchでCRUDが実行できるように自分用のメモです。 ElasticsearchはREST APIを提供しているので、馴染みのある感覚でデータの操作を実行できます。 かといってもCurlで実行するのは辛いのでKibanaのコンソールを使います。 使用バージョン Elasticsearch 7.7.1 Kibana 7.7.1 Create Documentの新規作成はPUTもしくはPOSTを利用します。 PUTの場合 PUT /member/_doc/1 { "name": "Beats", "age" : 26, "birthday": "1994-10-29",…

こんにちは！SaaS Product Teamの成です。 出身は中国・上海です。学生のときからは国語が苦手でテストもよく落ちましたが、一応中国語は分かります。 最近Product開発で中国語文章の全文検索について調べたことがありましたので、ここでElasticsearchの中国語Analyzerについて紹介したいと思います。 もし皆さんも中国語の全文検索を対応するとき、中国語が分からなくても、この記事が多少参考になれるならば大変嬉しいです。 Elasticsearchで中国語の検索精度を高めるためには、中国語の文章を正しく形態素分析できるAnalyzerは不可欠だと思います。 Baiduで中国…

最近こちらの記事を拝見しました。 tech.jxpress.net 昨年くらいから、Streamlitはちょっとした話題になっており、良い機会だったので使ってみたので、今回はそのメモです。

こんにちは富士通研究所のymokです。 我々の部署ではストリームデータ処理基盤技術Dracenaを開発しています。 今回は、DracenaのベースとなっているFlinkを題材として、リアルタイム交通データをFlinkに流し込んで可視化する一連のシステム構築の様子を end-to-end でチュートリアルとして示したいと思います。