Elasticsearch

ElasticSearchを触っていて、形態素解析について基本的なことを知りたかったので、『はじめての自然言語処理』を読んだ。形態素解析については3章に書かれている。基本的なことがまとまっていてよかった。 初心者向けの本なので、以下のような基本的なことから説明されいた。 形態素解析とは、文を形態素と呼ばれる塊ごとに分割することである。日本語においては形態素はほぼ単語のことである。また、形態素解析では分割された形態素（単語）がどの品詞なのかということも判定する。 形態素解析は辞書を使う。形態素解析で使う辞書とは、人間用の辞書ではなく、単語の表記・活用形・品詞・活用形などの情報を持つデータセットで…

こんにちは。 クラシル開発部、バックエンドエンジニアの松嶋です。 delyに入社してから約3年間、私はSREチームに所属していましたが、昨年10月にバックエンドに転向しました。バックエンドに転向してからは、主にクラシルアプリの公式レシピおよびCGMコンテンツの検索機能に関する開発・改善に取り組んでいます。 クラシルは、2016年2月にサービスを開始してから、管理栄養士監修の「誰でも安全に・おいしい料理を作ることができるレシピ動画」を5万件以上提供してきました。 昨年12月には、クラシルのブランドリニューアルを行い、今後はシェフや料理研究家を中心としたクリエイターとともに多様化したユーザーの食の…

こんにちは、検索チームのよこやまです。最近はもっぱらハイラルにいます。世界を救うことを放棄して行う探索と工作はとても楽しいですね。 検索チームでは複数のプロダクトにわたり検索機能を管理しています。その中で、ある検索エンドポイントのみレスポンス速度が常に数秒かかっており、サービス体験に影響が出ていました。 今回はそのエンドポイントのレスポンス速度改善に向けて行った取り組みについてご紹介させていただきます。 実施した対応 調査手順・詳細 1. 遅いエンドポイントの現状確認 2. Elasticsearch公式ドキュメントの Tune for search speed を確認 3. 仮説列挙 4. …

インフラチームの西川です。 オープンワークでは検索等の処理速度改善のためElasticsearchを利用しています。 検索用のデータをElasticsearchに同期（投入）しているのですが課題を抱えており、今回はそちらを解決するために行ったことをまとめてみました。 構成 Before After Elasticsearch同期処理の課題 同期速度が遅い リリース時に同期ずれが起きる リリース手順が煩雑 同期クエリの確認が面倒 開発よもやま話 CDK メリット デメリット はまったこと IssueOps(branch-deploy) メリット デメリット はまったこと 最後に 構成 Befor…

こんにちは、CTOの小林です。kickflowでは検索基盤としてElasticsearchを利用しています。kickflowのバックエンドにはRailsを採用しており、以前はElasticsearchの統合にelasticsearch-railsという公式gemを使用していたのですが、これを使用しなくなったというお話をします。

はじめまして、Webアプリチームのビリーです。 Elasticsearchのおかげでユーザーはスピーディーに検索することができますが、Elasticsearchの開発は大変なことが多いです。それを楽にするために、symfonyのデバッグツールバーを活かしてカスタムなデバッグツールを開発しました。 今回はそのデバッグツールについて話していきたいと思います。 symfonyデバッグツールバーとは symfonyのデバッグツールバーは、ブラウザでsymfonyの役に立つデバッグ情報を確認することができるツールバーです。 詳細はこちらです：https://symfony.com/doc/current…

基本的なElasticsearchのコマンドは、たくさんまとまった記事があると思うので特に困らないと思いますが、プラスαとしてElasticsearchクラスタを運用していく上で知っていると便利かもと感じたコマンドや使い方を備忘録としてまとめてみました。 定期的に追加していくかもしれないです。 表示するカラムを絞り込む 例えば、クラスタに所属するノードの情報を表示させたい場合、cat nodes APIを利用しますが、デフォルトだとレスポンスは以下のようになります。 $ curl -X GET "localhost:9200/_cat/nodes?v" ip heap.percent ram.…

こんにちは、ソリューション技術部の藤原です。 弊社ではAWSでGitHub Enterprise Serverを運用しているのですが、監査等のためログを一定期間保存するようにしています。 今回はGitHub Enterprise ServerのsyslogをLogstashを使ってS3に保存し、Athenaで確認できるようにするまでの方法を紹介します。 GitHub以外でも、ログ取り込み・確認の参考になれば幸いです。 また今回は手動での設定方法をご紹介しますが、CloudFormationでの構築も可能かと思います。 前提事項 構成図 環境構築 IAMロール作成 S3ログ保存用バケット作成 ロ…

SOCIとは? SOCI(Seekable OCI)はAWSが開発しているコンテナイメージの遅延読み込みのための仕組みです。コンテナイメージには起動時には使わないデータも多く含まれています。遅延読み込みによって、起動時には最小限のデータのみ読み込んで起動時間を短縮することを目的としています。コンテナ起動時の遅延読み込み自体は以前から存在しており、有名なものにestargzがあります。estargzはコンテナイメージの中に遅延読み込みのためのインデックスを保存しますが、SOCIはインデックスをOCI Artifactsとしてレジストリに保存します。このため、既存のイメージに手を入れる必要がないと…

Cloud Foundry, VMware Tanzu Application Service の gorouter ( https://github.com/cloudfoundry/gorouter ) では、分散トレースのB3・W3C TraceContextヘッダをサポートしているが、トレースデータを外部送信する機能はない。 Elastic APMで分散トレーシングをするとき、gorouterが生成したトレースIDを各アプリケーションが引き継いだ時に、親スパンが存在しないことにより期待通り表示されないことがあった。解決策として、gorouterのアクセスログからトレースデータを生成して…

先日 BackstageのPluginとして Search extension for Azure Cognitive Search を公開いたしました。 www.ap-com.co.jp www.npmjs.com Backstageの 公式 Plugin Marketplace にも掲載頂いております。 Backstageとは Backstage はもともとSpotifyが開発し、2020年にCNCFに寄贈した Internal Developer PortalのOSSです。 開発チームが開発を進める際、本当に様々なツールにアクセスして情報を参照しています。コードリポジトリはもちろんですが…

こんにちは、最近ピアノを習い始めた安部です。 今回は、ChatGPTのAdvanced Data Analysis (旧Code Interpreter)にBNF式を与えてパーサーを作成してもらおうと思います。 BNF式のように機械的に解釈可能なものであれば、正確にコードを生成してくれるのではないでしょうか？ BNFでうまくいけば、その他の様々な形式のデータやフォーマットからパーサーを自動生成してくれることが期待できそうです。 1. BNFとは BNF（バッカス・ナウア記法）とは、プログラムの構文規則（文脈自由文法）を記述するための記法です。 正確な定義よりも具体例を見た方が早く理解できると思…

こんにちは、igaです。 先日、久しぶりにライブで声を出したらのどが枯れてしまいました。 前回に引き続き、Azure OpenAIのセキュリティを向上させるため、ネットワークのアクセス制限について確認します。 今回は、以前検証した独自データを使用する場合のネットワークのアクセス制限について確認します。acro-engineer.hatenablog.com Azure OpenAIの構成 前回の構成で、Azure OpenAIに対してインターネットからのアクセス制限を行いました。独自データ（原文の表記はon your data）を使用する場合、構築した直後はデータを保持するCognitive …

先週1週間、リフレッシュ休暇（当社の年次休暇）を頂き、宮古島旅行に行ってきました。 天気にも恵まれ、海もとてもキレイだったので、テンションが上がりっぱなしだった菅野です。 最近、AWSのリソースを作成する際に、CDKを利用することが増えてきました。 AWSのリソース定義としては、CloudFormationがありますが、CDKは、以下のようなメリットがあります。 TypeScriptやPython等、慣れたプログラミング言語でAWSのリソースを定義できる。 CloudFormationと比べると、大幅に記述量が減り、分かりやすくなる。 今回はAWS CDKに不慣れな私が生成AIを利用してどこま…

TL; DR おうちサーバも監視したい SaaS 比較検討 Mackerel Datadog Elastic Cloud NewRelic Grafana Cloud セットアップ Grafana Cloudのアカウント作成 Grafana Agentのインストールとセットアップ cAdvisorを建てる cAdvisorのメトリクスを参照する Grafana Cloudで表示する ダッシュボードを作る ログを検索する 無料枠を超えないために Promtailの設定にリミットを入れる scraping intervalを広めにとる 不要なメトリクスやlabelをdropする アラートを仕掛ける…

Mastodon v4.2およびFedibirdの、検索欄に入力する検索文字列の書式と効果の一覧です。 アカウントと投稿の照会 特定の書式を検索の入力欄に指定すると、アカウントや投稿を照会する動作となる。 相手から個別およびサーバ単位でブロックされていたり、相手側サーバとの通信に問題がある場合、正しい指定をしても照会に失敗することがある。 分類 書式 効果 アカウント照会 @noellabo@fedibird.com ローカルアカウントを照会したり、未知のリモートアカウントをネットワークから照会する（その1）。情報が古くなっている既知のアカウント情報を更新する効果もある。 アカウント照会 ht…

はじめに 検索基盤部の内田です。検索基盤部はZOZOTOWNの商品検索ロジックや検索動線上の各機能の改善に取り組んでいます。検索機能に関連したバックエンド実装にはJavaを使うことが多かったのですが、近年ではGo言語を採用することも増えてきました。 この記事は、Go言語で実装したWeb APIからElasticsearchへの検索処理を実装した際に調べたことをまとめたものです。Go言語でElasticsearchを取り扱うみなさまの助けとなれば幸いです。 2つのElasticsearchクライアント Go言語のElasticsearchクライアントについて調べると、主に以下の2つのライブラリが…

こんにちは！YOUTRUSTのしぶあつです。 2023年9月6日に株式会社マイベストさんと共に「OPEN CODE（データベース編）」を実施しました🎉 OPEN CODEは自社のプロダクトに使われているプロダクションコードを公開し、参加者間でのコミュニケーションを経ることで双方に学びを得る、というイベントになっております。 youtrust.connpass.com 今回も参加者みんなでワイワイ盛り上がりましたのでレポートをお届けいたします！ 開催の背景 先に行われたmybestさんのイベントでmybest CTOのmiraotoさんとYOUTRUST CTOのzooさんで発信について会話した…

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 今回は Amazon Kendra と OpenAI ChatGPT を組み合わせてRAGシステムを構築してみます。 RAG とは Retrieval Augmented Generation （検索拡張生成） の略で、 ChatGPT に代表される LLM （大規模言語モデル）でユーザの質問への回答を生成する際に必要な情報（コンテキスト）を事前に検索などを通して取得して…