Elasticsearch

この記事について golangのechoが吐き出すログをvectorで収集し、opendistro版 Elasticsearchに収集、可視化する方法についてメモ この記事について vectorについて opendistro Elasticsearchについて elasticsearch + kibanaの構築 vectorの作成 アプリケーションからのログ送信 kibanaでの確認と可視化 終わりに vectorについて vector.dev Rust製のデータ収集、変換ツールです。この分野で有名なものにtd-agent(fluentd)がありますが、vectorは高パフォーマンス、軽量を売…

この記事は Elastic stack (Elasticsearch) Advent Calendar 2020 の 22日目の記事になります。こんにちは、@shin0higuchiです😊 今回のテーマは、「Elasticsearchで教師あり機械学習」ということで、Data Frame Analyticsの機能を紹介します。 はじめに 2017年ごろから、Elasticsearchには時系列データの異常検知に特化した、教師なしの機械学習機能がありました。 詳しくは、昨年（2019年）のAdvent Calendarで @yukata_uno さんが 「Elastic Machine Lear…

こんにちは。CData Software Japan の加藤です。 Elasticsearch は、全文検索エンジンとして高い人気を誇るソフトウェアですね。Elasticsearch を含むElastic stack にはKibana のような分析用環境も用意されていますが、普段の業務で別のBIツールを使っていれば、どのデータについてもなるべくそのBI ツールで分析したいですよね。 というわけで、今回はGoogle Data Studio (日本語名：Googleデータポータル)とElasticsearch を連携する方法をご紹介します。連携にはCData Connect を使いますが、（記事…

前書き 参考リンク 環境 各種操作 接続とコネクションの確認 データの投入 と 取得 index操作 サーチ(複数件取得) カウント(条件にヒットするデータ件数の表示) 結果の項目の絞り込み: データの更新(一部アップデート) バルク操作 前書き 最近、業務でElasticsearchに初めて触れる機会をいただきました。Kibanaを使ってクエリを投げることにある程度慣れた後、PythonのコードからElasticsearchのデータ取得&更新などを実施することになりました。 そこでまずライブラリに慣れようと思い、色々とクエリを試してみました。 後述の公式ドキュメントにも書いてありますが、el…

こんにちは、アクロクエストテクノロジー株式会社でElastic Stackのコンサルティング業務を担当している吉岡です。本記事は、Elastic Stack (Elasticsearch) Advent Calendar 2020 の1日目の内容になります。目次は以下です。 Elastic Stackリリース概要 Elastic Stackのユースケース ■Search(1)検索機能 検索の高速化 ヒープメモリ使用量の大幅削減（同時検索性能の向上） 非同期検索のサポート ■Search(2)エンタープライズ検索 エンタープライズ検索ソリューションの整理 Enterprise SearchがKi…

Qiitaで書いた記事を微妙に書き直して、はてなブログに移行させます。 「ElasticSearchで正規表現やワイルドカード検索がしたい！」 という顧客要望に応えるため、何とかできないか試したときのメモ。 環境 ElasticSearch 結論 データ型がkeywordのフィールドに対しては、正規表現検索は有効 データ型がtextのフィールドに対しては、意図に沿わないことが多い 書かないこと 正規表現検索で劣化する性能の具体的な値 原因 データ型がkeywordはアナライザによる単語分割が行われないため、正規表現で目的の単語がヒットしやすいです。 データ型がtextのフィールドはアナライザに…

RailsアプリでSearchkickを使いElasticsearchのreindexをしようとしたところデータ量が大きすぎるとのエラー Elasticsearch::Transport::Transport::ServerError · [429] {"error":{"root_cause":[{"type":"circuit_breaking_exception","reason":"[parent] Data too large, data for [<http_request>] would be [7474977728/6.9gb], which is larger than th…

概要 Snapmartの検索サーバーはAmazon Elasticsearch Service(以下ESS)で運用しているのですが、Kibanaを使ってデータ分析をしたくなりました。 ESSはVPC内にあるため、アプリケーションサーバーからElasticsearch APIで検索実行は問題なく行えますが、 管理者PCからKibanaのエンドポイントへのアクセスはできません。 そのため、ESSの前段にALBを配置してアクセスする必要があります。 設定は以下の記事を参考にしました。 dev.classmethod.jp しかし、 ESSのPrivate IPは可変なので、定期的にALBのターゲット…

エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 エムスリーでは検索エンジンとしてElasticsearchを利用しているのですが、Highlightingのフラグメント機能でとある問題が発生しました。その問題を解決する中でElasticsearch Highlighting の内部的な仕組みを理解することの重要性を改めて感じました。 今回はエムスリーで発生した問題の共有からはじめ、どのように解決したのかはもちろん、Elasticsearch Highlighting の内部的な仕組みも一部紹介し…

開発環境をWindowsにしたので環境構築のメモ Elasticsearchのインストール wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list sudo apt update sudo apt install elasticsearch …

この記事はKMC 2 Advent Calendar 2019 - Adventarの6日目(12/6)の記事です。 5日目の記事はありませんでした。 4日目の記事はkmc-id: gnuさんのGo Modules時代の静的解析 - Qiitaでした。 Goは触ったことがないので何もわからないです。ごめんなさい。同じGoogleが作ったDartならちょっと触ったことがあるけどやっぱり何も覚えていません。 目次 はじめに 「v-data」について 構成 お値段 Nuxt x Firebase Cloud Functions Firebase Cloud Functions x ElasticSe…

この記事は個人ブログと同じ内容です www.ritolab.com // CloudWatch Logs では、AWS のコンソールからログデータを S3 にエクスポートできます。 全ログデータを CloudWatch 側で保持して、ログデータを抽出する必要があった場合は都度 S3 にエクスポートして使うっていう運用ならこれで問題ないと思います。 別のケースとして、以下のような場合は、CloudWatch Logs から S3 に定期的にログを自動で配信する仕組みが欲しくなります。 CloudWatch Logs のログデータを活用するために全てのデータを S3 にも溜めたい（データレイク的な…

彼女と居ると週末があっという間に過ぎていく。 さて、月曜日。今週も仕事が山積みだ。とりあえず今日マストの仕事を一日かけて片付けた。QAテストのデータを作る仕事だった。LispでcsvからSQLに変換するプログラムをグワっと書いた。 対話的に書きたいときはLispは有利だし、書いてて楽しいのはやっぱりLispだ。久しぶりにやると自分やっぱりプログラム書けるじゃんと思えて、もっと他にも書きたくなる。チームで必要な小さいツールをLispで書こうかな、などと少し思ってElasticSearchのAPIを調べた。 風呂に湯を張って浸かる。彼女から「姉の結婚」という漫画が好きだとLINEが来ていた。読んで…

この記事について golangのechoが吐き出すログをvectorで収集し、opendistro版 Elasticsearchに収集、可視化する方法についてメモ この記事について vectorについて opendistro Elasticsearchについて elasticsearch + kibanaの構築 vectorの作成 アプリケーションからのログ送信 kibanaでの確認と可視化 終わりに vectorについて vector.dev Rust製のデータ収集、変換ツールです。この分野で有名なものにtd-agent(fluentd)がありますが、vectorは高パフォーマンス、軽量を売…

mastodonの全文検索は標準ならElasticsearchを使います。今回はこの仕組みを使う上でのお話です。「DBを直接読めばいいやんけ」という人は頑張ってください。さて、この全文検索ですがいろいろ制限というか面倒な話があります。 標準のソースコードでは検索インデックス作成が日本語には適していないので改造が必要 標準では連合タイムラインに流れてきたtootを検索できない 検索インデックスの作り方が複数あるが、やり方によって向き不向きがある まあこんな感じなので、正直言って標準のままではElasticsearchを利用してまで全文検索をする必要はありません。「でも自分のサーバに届いたtoot…

masayuki14(ver 0.38.7)がリリースされました。更新内容は下記のとおりです。 12月中旬から新しいチームにジョインしました。仕事が再開しました。引き続きRailsでの開発です。 登録セキスペも中小企業の情報セキュリティマネジメント指導業務で中小企業に指導に行くことになりました。終了期限がきまっているので、通常のスケジュールより余裕がない状況です。がんばります。 なんていうか、どちらの変化も12月後半に同時に起こってしまったので、なかなか大変な2週間でした。つまり前半の2週間のことがほぼ記憶にありません。なんてこった。まぁ大したことはしてなかったつーことか。 Tech Rail…

こんにちは。 今年の年始からジョインした遠藤です。 さて、入社したところ会社支給のMacBook ProがM1チップのものでした。 はい、現状は開発環境で苦労するとか色々噂を聞くやつです。 実際に試したのですが、 現状の開発環境構築スクリプト、手順書が一切使えない VitualBox, Vagrantは利用不可 Dockerは利用可能ではあるが、一部イメージが対応されてない 古いパッケージは動かす手段がない などなど、通常ではぶつからない問題にぶつかります。 食べチョクでは、 Ruby Node.js MySQL Redis ElasticSearch Kibana を利用しています。 この辺…

こんにちは!!こんにちは!! moriyamaです。 みなさん、APMってご存知でしょうか？ Application Performance Managementの略で、直訳すると「アプリケーション性能管理」ですね。 広く知られているサービスとして、Amazon CloudWatchやNew Relicなどが挙げられます。 こういったサービスを使って、各リソースの使用状況や監視を行うわけですね。 ローカルで動かしたい！ 上記のような各リソース監視は、本番運用しているサービスを対象にして、導入する場合がほとんどだと思います。 リリース前後でレスポンス悪化を検知したり、アプリケーションを構成する要…

自己紹介 はじめまして && あけましておめでとうございます。MAMADAYS開発部長をやっている齊藤です。 開発部長という肩書きですが、マネージメント業務だけではなく、モバイルアプリ開発以外を守備範囲としたユーティリティプレイヤーもつとめ、若い子たちと一緒に草を生やす作業に勤しんでいます。 座右の銘は『枯れた技術の水平思考』です！ 閑話休題 弊社オウンドメディアの every.thing にも、CTOのid:kajidaiとの対談が掲載されていますので、時間に余裕がある方は見ていただけると嬉しいです。 【前編】エブリーCTOが聞く！MAMADAYS開発部長のルーツは音楽！？ゲーム開発から組織…

はじめに ユーザーに近い機械学習プロダクトのむずかしさ サービス開発のスピード チームで開発するということ ソフトウェアエンジニアは楽しい？ 実際にユーザーに届くということ これからのこと はじめに 「そういえば，来期は1年間ソフトウェアエンジニアをやっていただきたいんですが」と当時のマネージャーに言われてから1年になる。その頃の私は機械学習エンジニアとして着実に成長はできていたのだと思う。実際に機械学習プロダクトを本番環境に投入することができていたし，機械学習のモデル構築以外にもデプロイ周りやインフラ周り，データベース周りといった知識も身につけることができていた。けれど「もっとユーザーに近い…

概要 マークダウンで書けて機能が豊富なwikiです。様々なwikiを試しましたが、GROWIはすべて網羅しているwikiだと思います。社内、家族、個人用として知識やマニュアルをまとめる際に使用してみてはいかがでしょうか。詳細は以下を参照ください。 GROWI Docs 条件 環境 Windows10 Docker Compose WSL2 Chrome デプロイ githubからソースコードをダウンロード Read.meに書いてある通りに、ローカル環境に落とし込む。 https://github.com/weseek/growi-docker-compose/blob/master/READM…

皆さんあけましておめでとうございます。 @tereka114です。昨年の最後は例年の如く、アドベントカレンダーが盛り上がりました！ 皆さんはどのアドベントカレンダーが良かったでしょうか？Acroquestは、有志がQiitaの各種アドベントカレンダーに参加し、執筆していました。 本記事ではアドベントカレンダーの投稿記事の一覧と注目度の高かった記事を紹介します。 2020アドベントカレンダー 日付 カレンダー名 記事 12/1 Elastic Stack (Elasticsearch) Advent Calendar 2020 - Qiita acro-engineer.hatenablog.c…