Elasticsearch

elasticsearchは検索エンジンの一種。類似するものにApache Solrなどがある。 検索エンジンでは、文書登録時に単語を抽出（日本語の場合は形態素解析という技術を使用）し、各単語からその単語が含まれているドキュメントを示すIDをひけるようにする索引である「転置インデックス」というものを用いて検索キーワードから文書を高速に見つけられるようにする。 対象ドキュメントから検索キーワードになりうる単語を抽出して転置インデックスを作成する機能をインデクサと呼び、その転置インデックスを使って検索する機能を提供するものをサーチャーと呼ぶ。 Dockerfileを準備、日本語対応のプラグインを追…

現在位置の近くにあるコンビニを探すとか、そういうのを試したくなったのでやってみる。 ElasticSearchの導入 お手軽に試したいだけなのでdockerを使用する。 $ docker pull elasticsearch:8.3.2 dockerイメージのelasticsearch.ymlはTLSが有効になっていたが、お試しで使用するには煩わしい。-e "xpack.security.enabled=false"を付けてセキュリティ機能を無効にしてコンテナを起動する。 $ docker run -d --name elasticsearch -p 9200:9200 -p 9300:930…

環境情報 Rails: 6.1.6.1 Ruby: 3.1.2 Database: PostgreSQL 11.x Elasticsearch 7.x DBに保存したらElasticsearchも更新されたい Railsプロジェクトで、データベースへの保存を行ったら同時にElasticsearchへの反映も行いたい、というケースが出てきました。 Elasticsearchの利用には、elasticsearch-railsを使っているのですが、データの反映は簡単でした。 # Elasticsearchへの保存が失敗してもロールバックしたいので… class Foo < ApplicationRe…

こんにちは。検索チームの加藤です。 推しのサウナが閉店してしまうということで悲しみにくれています。 厳しくなったらぱっと閉じる、必要になったら新しい状態でぱっと立ち上げる、そんなことが現実でも簡単にできたらなと思う次第です。 そんなこと現実では夢物語でも、システムの世界では容易です。そうTerrafromを使えばね。 ということで、今回は弊社で使っているElasticCloudの環境をTerraformを使って作成する方法を備忘録がてらご紹介します。 対象読者 Terraformについて最低限知っている ElasticCloudでコンソールからdeploymentを作成したことがある 上記のよ…

皆様こんにちは。インフラエンジニアのryuhei55225です！ 前回の記事は【Kibana 入門】という形で「Elastic Stack」(Kibana+Logstash+Elasticsearch)をLinuxサーバにインストールして、簡単なデータのグラフ化を紹介させて頂きました。 こちらの記事では、MWのインストール等のサーバ構築がメインとなってしまい、具体的なElasticsearchへのデータ投入やデータ検索・グラフ化に関しては紹介することが出来ておりませんでした。 （データ検索・グラフ化に関しては、完全に省略しておりました。。） ということで・・・ 今回の記事は「Kibana 基礎…

導入 情報システム部サービス開発チームのNathanです。この記事ではElasticsearchについて学んだことをご紹介します。横山さん、翻訳をしていただきありがとうこざいました。 The English version can be found here. 目的 Elasticsearchを設定して使用するためのガイドは数多くありますが、大部分は英語のデータを対象にしたものです。この記事は、そのほとんどが日本語で占められたデータをElasticsearchで扱う上で、もし最初にこれを知れていたら嬉しかったという知識を詰め込んでいます。 elasticsearch Elasticsearch…

はじめに 情報システム部の横山です。今回はElasticsearchを利用した機能を本番リリースする直前に発生した、表題のエラーについてご紹介します。このエラーが出るのは一部のアプリケーションだけだとは思いますが、同じエラーが出た人の一助となれば幸いです。 背景 Elasticsearchを利用した全文検索機能のMR(マージリクエスト)をdevelopブランチにマージし、社内で使っているStaging環境でも無事動作確認ができ、別のテスト環境にもデプロイしました。それではお客様にも確認して頂き、それがOKだったら本番にもリリースしよう……という時に、テスト環境からSlackにエラーが通知されま…

はじめに 最近アクアリウムを始めました、菅野です。 プログラムと異なり、生体を扱う都合上の想定外を楽しみながら試行錯誤しております。 さて、皆さんはAPIサーバを構築する際に、どのAPI形式を用いていますか？ まだまだREST形式で実装することが多いかとは思いますが、 GraphQLを用いることも増えてきているのではないでしょうか？ 今回は、そんなGraphQLをFastAPIと各種ライブラリを用いて簡単に実装する方法を紹介していこうと思います。 はじめに GraphQLとは 構成 利用ライブラリ 実装 ディレクトリ構成 クラス図 各種コード説明 infra/repositoryディレクトリ …

こんにちは。エンジニアの永井(shnagai)です。 今回は、現在進めている検索システム内製化プロジェクトの中で、検索エンジニアとしてはほぼ未経験に近い自分が半年ほど試行錯誤した内容の一部を書き記していこうと思います。 ※筆者の経験としては、Elasticsearch✕kibanaのログ基盤は複数構築経験はありで、Elasticsearch周りの設定への知識は0ではないレベル この記事を見て、検索に詳しい方や自分もやってみたいという方がいたら是非お声がけいただけるとうれしいです。 内容は、ざっくり下記の構成になっています。 作りながら身にしみた検索システムの奥深さ 初回ABテストでは既存エンジ…

以前AWSでテスト環境を構築してもらったwebサービスを、さくらのVPSに移管し、そもそもの中身を確認して不足を追加していけないかということを計画しています。 その過程で、開発がもう3年以上前のことになるので、環境構築で使っていたさまざまなモジュールもEOL（End Of Life）になってしまっていたりすることがわかりました。ということで、新たに自分のわかる範囲の技術を使って、動かす環境を構築しようとしてみます。 まず、背景の確認です。 元は、AWSのEC2内に、laradockを使って、テスト環境（開発内容の検収環境）として、別のエンジニアさんに頼んで作ってもらっていました。 ディレクトリ…

はじめまして、Spartyインフラエンジニアの「おだ」です。 技術記事1本目に何を書こうかと悩んでいたのですが、インフラエンジニアらしくSpartyが手掛けるサービスのインフラ周りについて書きたいと思います。 さっそく手前味噌になりますが、2022年1月から弊社製品のTVCMが放映されていました。 sparty.jp 10月に入社をしたのですが、キャッチアップをしているときに唐突にTVCMをやるという話が聞こえてきました・・・ 入社後すぐに重たい対応できるのか？と思いつつ環境の理解も進み、案の定負荷に耐えられそうにない構成だったため、このタイミングで放映の負荷に耐えられるようなインフラ構成に変…

こんにちは、機械学習エンジニアの駿です。 データサイエンスチームYAMALEXの一員としても活動しています。 最近、ビジネスシーンや日常会話でのちょっとしたフレーズを英語では何と言う？という内容で、会社でYouTuberを始めました。 Short 動画を上げているので是非ご視聴ください。 最近のおすすめはこちら。 「明日も頑張ろう！」を英語で！ さて、今回は QuickSight の機能、 1-Click 埋め込みを試してみました。 自分のサイトで QuickSight のダッシュボードを共有したいときに、ワンクリックで埋め込み用 HTML コードのコピー＆ペーストが可能です。 SDK 、 A…

Vagrantで立てたUbuntuにelasticsearchをインストール、セットアップしてみようと思います。 デスクトップPC(windows)をゲーミング用で一台所有してるんですが、こちらプログラミング趣味用としても使いたいなと。ゲームパフォーマンスに影響が出るのでホストOS型でLinux(Ubuntu)を選びました。そこにelasticsearchをインストール、セットアップしていきたいと思います。 環境 Vagrant PS D:\Vagrant> vagrant --version Vagrant 2.3.0 また、Vagrantfileは長いので割愛しますが使用しているboxは次…

弊社で毎月開催し、PHPエンジニアの間で好評いただいている勉強会「PHP TechCafe」。 2022年3月のイベントでは『PHPerのための「Laravel9について語る」』をテーマに語り合いました。 弊社のメンバーがLaravel9の新機能などの情報を元に、他の参加者に意見をいただいて語り合いながらLaravel9について理解を深めました。 今回はその内容についてレポートします。 rakus.connpass.com PHP TechCafeとは PHPerのための「Laravel 9 について語る」 Laravel9の特徴 PHP8対応 LTSが消えた ハイペースなマイナーバージョンア…

Elasticsearchである地点から距離が近い順にソートしたい 調べると Geo Distance Sorting というのでできるみたい www.elastic.co 以下のようなクエリになる GET /_search { "sort" : [ { "_geo_distance" : { "pin.location" : [-70, 40], "order" : "asc", "unit" : "km", "mode" : "min", "distance_type" : "arc", "ignore_unmapped": true } } ], "query" : { "term" :…

こんにちは、@shin0higuchiです😊 先日、第49回Elasticsearch勉強会を開催しました。 私からは、Elasticsearch 8.3 で実装された、PyTorchモデルによる質問応答機能を紹介しました。 発表のスライドはこちらです。 Elasticsearch勉強会_NLPQA.pptx from shinhiguchi www.slideshare.net 以下、発表の内容について簡単に説明します。 概要 「質問応答」とは？ 今回の発表のテーマである「質問応答」とは、機械学習タスクのひとつで、 一般に、利用者の質問に対して適切な回答を自動で返すことを指します。活用先の例…

やりたいこと 「ナイキ スニーカー」という検索キーワードがあった場合に、ナイキ→ブランド、スニーカー→商品カテゴリとElasticsearchで分類したい。(前提としてブランド名一覧のワード集合と商品カテゴリ一覧のワード集合はあるとする) Elasticsearchで分類するメリットはアナライザにより表記揺れを吸収できる点で、「NIKE」でも「ナイキ」でもブランドとしての「ナイキ」と分類できる。 単純に考えると以下のようなElasticsearchに以下のようなクエリを投げるイメージ。 GET _search { "query": { "bool": { "should": [ { "matc…

今回の ISUCON では Filebeat を使って Nginx のログを Elasticsearch に放り込み、 Kibana ダッシュボードで表示していた。 nonylene.hatenablog.jp なかなか役に立ってよかったものの、 /user/:userID/home のようなパスだと userID に様々な値が入ってしまい、総計では時間がかかっていても上位としてダッシュボードに出てこないという課題があった。 /user/4372904890324/home のようなパスに対しては /user/:userID/home といった正規化したフィールドを作ってから Elastics…