Elasticsearch

こんにちは！ウェブ版クラシルの開発を担当しているサーバサイドエンジニアの福島と申します。 今回は、ElasticsearchのMultiModel検索を使って、多様なフォーマットのレシピコンテンツ検索を実現したことについて書こうと思います。 MultiModel検索とはどのようなものか、なぜこの機能が必要だったか、また開発を通しての経験についてご紹介します。 MultiModel検索ってなに？ まずは、ElasticsearchのMultiModel検索機能について簡単に説明します。 従来の単一インデックスに対する検索機能とは違い、複数のインデックスからデータを検索することができる機能です。 …

こんにちは、CTOの小林です。kickflowでは検索基盤としてElasticsearchを利用しています。kickflowのバックエンドにはRailsを採用しており、以前はElasticsearchの統合にelasticsearch-railsという公式gemを使用していたのですが、これを使用しなくなったというお話をします。

はじめまして、Webアプリチームのビリーです。 Elasticsearchのおかげでユーザーはスピーディーに検索することができますが、Elasticsearchの開発は大変なことが多いです。それを楽にするために、symfonyのデバッグツールバーを活かしてカスタムなデバッグツールを開発しました。 今回はそのデバッグツールについて話していきたいと思います。 symfonyデバッグツールバーとは symfonyのデバッグツールバーは、ブラウザでsymfonyの役に立つデバッグ情報を確認することができるツールバーです。 詳細はこちらです：https://symfony.com/doc/current…

基本的なElasticsearchのコマンドは、たくさんまとまった記事があると思うので特に困らないと思いますが、プラスαとしてElasticsearchクラスタを運用していく上で知っていると便利かもと感じたコマンドや使い方を備忘録としてまとめてみました。 定期的に追加していくかもしれないです。 表示するカラムを絞り込む 例えば、クラスタに所属するノードの情報を表示させたい場合、cat nodes APIを利用しますが、デフォルトだとレスポンスは以下のようになります。 $ curl -X GET "localhost:9200/_cat/nodes?v" ip heap.percent ram.…

背景 Elasticsearch8.0から indices.query.bool.max_clause_countがdeprercatedになりました。 これまで自分で設定できていましたが、動的に設定されるようになったということでどういうロジックで値が決まるのかコードを参照しながら確認します。 max clause countが何かについてはこちらの記事を確認ください。 ryook.hatenablog.jp

この記事は Elastic Stack (Elasticsearch) Advent Calendar22日目の記事です。 今回はElasticsearchのスナップショットについて復習していきます。

こんにちは、NFLabs. ソリューション事業部の saika です。この記事は NFLaboratories Advent Calendar 2022 の7日目の記事です。 はじめに 近年、Elastic のセキュリティ領域における進化には目覚ましいものがあります。今回は Elastic の EDR である Elastic Defend というものを少し触ってみたのでご紹介させてください。有償の機能もあるので一部機能だけのご紹介となること、また筆者に EDR の実運用経験がないため運用という視点がかけてること、ご承知いただければと思います。 Elastic には Elastic Agent …

こんにちは。2022年12月入社の石田です。STARTUP DBの主にバックエンドのエンジニアをしています。今回はSTARTUP DBのバックエンドのRubyのバージョンアップをした話をしたいと思います。 2023/03/31をもってRuby 2.7系のサポートが終了しました。当プロジェクトでは Ruby 2.7.1を使っていたため、急遽Rubyのアップデート作業が必要に。どうせアップデートが必要ならということで、可能な限り最新のバージョンまでアップデートすることになりました。 アップデートは以下のように段階を踏んで行うことにしました。 2.7.1 → 2.7.8 → 3.0.6 → 3.1.…

こんにちは、Mackerel チーム CRE の須藤 ( id:do-su-0805 ) です。今回のアップデート内容をお知らせします。 AWSインテグレーションによるRDS連携ホストの自動退役に対応しました AWS インテグレーションにて、タグの情報をもとにロールの設定を行える対象サービスを拡充しました Mackerel コンソールでのAPIキーがマスキングされるようになりました mkr でメトリック一覧が出せるようになりました アクセシビリティの改善を行いました 不具合を修正しました AWSインテグレーションによるRDS連携ホストの自動退役に対応しました AWSインテグレーション機能で連携…

https://namonakimichi.hatenablog.com/entry/2023/05/15/225621 で書いてたやつなんですが、間に合わなかったので次回に向けて書くことにします。 どんな本を書きたかったかだけ、下記に置いとくので良かったらご意見ください。 また楽しみにしていた皆さんは本当に申し訳ございません。私自身も4月体調不良が続き5月はGWも休まずgitの本書いて、こちらも構想だけまとめて色々なものを削って書いてましたが、現実的に無理でした。 背景 今のWeb構成において、とてもベーシックな3層構造のアーキテクチャが合致してないように感じる。 それをもう少し分解していっ…

目指していた INPUT:OUTPUT = 1:1以上 の理想形は Link & TechTips Stack の形なのかもしれない（※仮挿入） 本ブログと並列運用(更新不定期) 本ページは投稿記事一覧です。 (自動更新) Architecture MicroArchit マイクロサービスアーキテクチャ メモ (2022/05) 【マイクロサービス】可観測性と OpenTelemetry (基本のみ) (2022/12) Program Java Java Assertj + Mockito (2022/02) Gson Serialize (Object -> String) での時刻フォー…

はじめに 初めまして、株式会社スタンバイのジョブサーチメインというチームで検索エンジン周りの開発・改善に取り組んでいる金正です。 検索エンジンの改善施策の一環としてクエリオートコンプリーションシステムのリプレイスを行いました。 リプレイスに取り組んだ背景やアーキテクチャ、工夫したことなどをご紹介していきます。 クエリオートコンプリーションとは クエリオートコンプリーションとは、ユーザーの入力から始まるキーワードをサジェストする機能になっています。 以下の例では「エンジニ」という文字列から始まるキーワードをサジェストしています。 以降ではクエリオートコンプリーションのことをQAC（Query A…

大学の図書館サービスの１つに日経BP記事検索サービスがあります。 いまやサブスクでいろんな雑誌等が電子書籍で読めるようになりましたが、かなり前からこのサービスはあって、昔から日経雑誌を読んでいた私としては（個人としては）無料でこんなサービスが利用できるありがたみを噛み締めてきました。 昨夜、なんかの作業の流れで以下の日経ソフトウェアの記事を見つけて、古い記事だけど学生もやってるPythonだしC言語でした面白そうなのでゼミでやろうかな。。。と思ったところでした。 特集１ スクリプト言語をゼロから作ろう Ｐａｒｔ１ 言語処理系の作成は難しくない！ | 日経ソフトウエア | 日経BP記事検索サービ…

はじめに こんにちは、あるいはこんばんは、クラウド事業部の原田です。 この度 AWS 認定セキュリティ – 専門知識(AWS Certified Security - Specialty)に合格しましたので、色々と共有させていただこうと思います。 AWS 認定セキュリティ -Specialty (注意) 2023年4月時点(SCS-C01)での情報です。2023年7月に新バージョン(SCS-C02)試験に更新される予定です。 1日違いでAWS Certified Database - Specialtyに合格した同じチームのさかぐち君の記事はこちらから 点数 829/1000 ギリギリ(合格は…

環境 Kubernetes 1.26 やりたいこと GROWIの最大の特徴は、マークダウン記法でかけることだ。これにより、シンプルで見やすい文書を簡単に作成できる。 さて、今回の本題は、GROWIをKubernetesにデプロイする方法だ。Kubernetesは、複数のコンテナを管理するオープンソースのシステムであり、スケーラビリティや可用性の高いアプリケーションを構築することができる。 おおよそのひな壇は公式が出しているdocker-compose.yml これをKomposeを使ってk8sの構成ファイルに変換していく。 https://github.com/weseek/growi-doc…

elasticsearchをアップデートしたらうまく動かなくなった。 結論から言うと、 environmentに"bootstrap.system_call_filter=false"を追加した。 elasticsearch: container_name: elasticsearch image: appbrewadmin/elasticsearch:7.9.3 ports: - 9200:9200 - 9300:9300 environment: - "bootstrap.system_call_filter=false" volumes: - ./tmp/docker/elasticse…

求人サイト「シニアジョブ」をNuxt3, NestJSでゼロから開発＆運用中ですが、Google Search Console（以下サチコ）のウェブに関する主な指標で「不良」、もしくは「改善が必要」の項目が出てくるようになりました。 seniorjob.jp それぞれ詳しく書くと長くなって書き終わらないので箇条書き程度にやったことをメモ。 いろいろやった結果、PageSpeed Insights （以下PSI） で2023/4/21時点でパフォーマンスの点数は PCは87点前後 モバイルは50点前後 となりました。 モバイルはかなり厳しいので個人的には黄色の50（50未満は赤）で及第点と納得し…