Elasticsearch

ElasticSearchを触っていて、形態素解析について基本的なことを知りたかったので、『はじめての自然言語処理』を読んだ。形態素解析については3章に書かれている。基本的なことがまとまっていてよかった。 初心者向けの本なので、以下のような基本的なことから説明されいた。 形態素解析とは、文を形態素と呼ばれる塊ごとに分割することである。日本語においては形態素はほぼ単語のことである。また、形態素解析では分割された形態素（単語）がどの品詞なのかということも判定する。 形態素解析は辞書を使う。形態素解析で使う辞書とは、人間用の辞書ではなく、単語の表記・活用形・品詞・活用形などの情報を持つデータセットで…

こんにちは。 クラシル開発部、バックエンドエンジニアの松嶋です。 delyに入社してから約3年間、私はSREチームに所属していましたが、昨年10月にバックエンドに転向しました。バックエンドに転向してからは、主にクラシルアプリの公式レシピおよびCGMコンテンツの検索機能に関する開発・改善に取り組んでいます。 クラシルは、2016年2月にサービスを開始してから、管理栄養士監修の「誰でも安全に・おいしい料理を作ることができるレシピ動画」を5万件以上提供してきました。 昨年12月には、クラシルのブランドリニューアルを行い、今後はシェフや料理研究家を中心としたクリエイターとともに多様化したユーザーの食の…

こんにちは、検索チームのよこやまです。最近はもっぱらハイラルにいます。世界を救うことを放棄して行う探索と工作はとても楽しいですね。 検索チームでは複数のプロダクトにわたり検索機能を管理しています。その中で、ある検索エンドポイントのみレスポンス速度が常に数秒かかっており、サービス体験に影響が出ていました。 今回はそのエンドポイントのレスポンス速度改善に向けて行った取り組みについてご紹介させていただきます。 実施した対応 調査手順・詳細 1. 遅いエンドポイントの現状確認 2. Elasticsearch公式ドキュメントの Tune for search speed を確認 3. 仮説列挙 4. …

インフラチームの西川です。 オープンワークでは検索等の処理速度改善のためElasticsearchを利用しています。 検索用のデータをElasticsearchに同期（投入）しているのですが課題を抱えており、今回はそちらを解決するために行ったことをまとめてみました。 構成 Before After Elasticsearch同期処理の課題 同期速度が遅い リリース時に同期ずれが起きる リリース手順が煩雑 同期クエリの確認が面倒 開発よもやま話 CDK メリット デメリット はまったこと IssueOps(branch-deploy) メリット デメリット はまったこと 最後に 構成 Befor…

こんにちは、CTOの小林です。kickflowでは検索基盤としてElasticsearchを利用しています。kickflowのバックエンドにはRailsを採用しており、以前はElasticsearchの統合にelasticsearch-railsという公式gemを使用していたのですが、これを使用しなくなったというお話をします。

はじめまして、Webアプリチームのビリーです。 Elasticsearchのおかげでユーザーはスピーディーに検索することができますが、Elasticsearchの開発は大変なことが多いです。それを楽にするために、symfonyのデバッグツールバーを活かしてカスタムなデバッグツールを開発しました。 今回はそのデバッグツールについて話していきたいと思います。 symfonyデバッグツールバーとは symfonyのデバッグツールバーは、ブラウザでsymfonyの役に立つデバッグ情報を確認することができるツールバーです。 詳細はこちらです：https://symfony.com/doc/current…

基本的なElasticsearchのコマンドは、たくさんまとまった記事があると思うので特に困らないと思いますが、プラスαとしてElasticsearchクラスタを運用していく上で知っていると便利かもと感じたコマンドや使い方を備忘録としてまとめてみました。 定期的に追加していくかもしれないです。 表示するカラムを絞り込む 例えば、クラスタに所属するノードの情報を表示させたい場合、cat nodes APIを利用しますが、デフォルトだとレスポンスは以下のようになります。 $ curl -X GET "localhost:9200/_cat/nodes?v" ip heap.percent ram.…

こんにちは。弁護士ドットコム クラウドサイン事業本部で SRE をしています、大内と申します。 クラウドサイン事業本部の SRE ではサービスの可用性、信頼性の向上や開発の高速化、省力化を目指した開発を日々行っています。 クラウドサインの本体アプリケーション（以下本体）のソースコードは GitLab で管理しており、 関連サービス、バッチなども 1 つのリポジトリで管理するモノレポ構成を取っています。 2022 年 9 月当時、バッチのソースコードだけで 43 個も管理していました。 バッチはいずれも GitLab CI で自動テストを実装しており、その CI コード行数はすべて合わせると 3…

最新版FESSの設定方法 FESSの各種設定方法は公式サイトで公開されていますが、検索サイトで検索すると、古いバージョンのドキュメントが検索結果の上位に表示されることが多いです。 ここではバージョン14にて、よく使う設定を抜粋して、まとめておきます。 そのFESS、開発モードで動いてないですか？ FESSの左上を確認してください。左上のユーザーの横に「⚠」アイコンが表示されてませんか？ アイコンが表示されているのであれば、マウスカーソルを当ててみてください。次のようなメッセージが表示されるはずです。 開発モードで起動しています。本運用環境ではOpenSearchを別途インストールしてください。…

こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 様々なAIモデルを利用できるようになるサービス、Amazon Bedrockがリリースされました、と書き続けてそろそろひと月が経過しております。 楽しみながら様々なモデルを利用していたらあっという間に時間がたってしまいました。 今回は、BedrockのClaudeV2モデルを用いてPythonコードとテストコードを生成してみようと思います。 Bedrockの説明は、以下を参照してください。 acro-engineer.hatenablog.com 「Fizz Buzz」の生成 プログラミングの初歩も初歩、定番の課題といえ…

Terraform で AWS IAM ポリシーや Amazon S3 バケットポリシーを実装するときに terraform plan は通るのに terraform apply で失敗したり，terraform apply は通るのにポリシー自体に誤りがあって期待通りに動かなかったり，無駄にハマってしまった経験ってないでしょうか💨少なくとも僕はたくさんあるー ＼( 'ω')／ そこで Terraform と AWS IAM Access Analyzer の「ポリシー検証」を組み合わせたらどうだろう❓と思って調べてみたところ，GitHub の awslabs/terraform-iam-po…

こんにちは、安部です。 11月なのに暑かったり寒かったしますが、皆様いかがお過ごしでしょうか。 さて、先日のOpenAI DevDay、大変な盛り上がりでしたね。 様々な新機能が公開され、GPT関連がさらなるパワーアップを遂げました。 DevDayは基本的に開発者向けのイベントですが、一般ユーザ向けの新機能も公開されました。 それがGPTsです。 今回は、GPTsが使えるようになったので試してみたいと思います。 GPTsとは GPTsとは、GPT Builderを使ってノーコードで簡単にChatGPTをカスタマイズできるサービスで、今のところ有料ユーザのみが使用できます。 ChatGPTは特定…

こんにちは、クラシルリワードのSRE担当のjoooee0000です。 私はクラシルリワードのサービスローンチの約3ヶ月後にサーバー兼インフラエンジニアとしてjoinし、サービスの成長と共に、開発速度とシステムの信頼性の向上を目指してシステムの改善を行ってきました。 その中で、特に開発速度と信頼性向上に寄与したと思う3つの改善を紹介したいと思います。 改善を行う際に「コスト(金額、導入共に)と効果のバランス」「運用しやすいシンプルな設計」に特に気をつけたので、参考なると幸いです。 (話すこと: 取り組んだ施策の概要紹介、 話さないこと: 細かいhow to) やってよかったこと3選 ブランチ戦略…

こんにちは、最近ハンドブレンダーを購入し自家製バジルでジェノベーゼを作るようになった菅野です。 2023/11/6にOpenAIDevDayが開催され、ChatGPT関連の様々なアナウンスがありました。 openai.com その中でもChatGPTの新しいモデル、GPT-4 Turboについての情報をまとめていきます。 モデルについての詳細解説は以下の公式サイトをご覧ください。 platform.openai.com GPT-4 Turboのモデルは現在プレビュー版でgpt-4-1106-previewというモデルが試しに使える状態です。 数週間後に安定板のリリースがなされる予定だそうです。…

こんにちは！技術本部 Eight Engineering Unit でサーバーサイドエンジニアをしている常盤です。 今回は、Eight が提供している採用プラットフォームである Eight Career Design (ECD) の候補者検索機能の検索精度を改善した取り組みを紹介したいと思います。 materials.8card.net

不調かな、と思ったら。 2023W43 (2023-10-23 / 2023-10-29) 息子は火曜日から体調を崩してお休み。遠足も、週末の予定もキャンセル。特に身体が弱いわけではないんだけど、時々こうやって楽しみな予定をふいにしてしまう。本人はショックだろうから直接そういう指摘はしていないけど、機を見て体調を管理するアドバイスみたいなことをしてみようかな。 私は小中高は皆勤賞、専門学校時代は1回遅刻してしまったぐらいで、体調不良でお休みというのは社会人になってから経験した。「身体が丈夫」という感覚は小中高時代にはあったと思うけど、今はもうない。体調はしっかりと整えねば崩れ、ストレスはこまめ…

前書き 前提条件 ソースコード IAMユーザー作成 補足: IAMユーザー作成時の選択肢 参考記事 DynamoDB テーブルの作成 補足：予約語について データの追加 テストデータ(test_data.json)を作成するコード 注意点 create_json_file.py test_data.jsonを書き込むコード incert_data_json.py API Gateway API作成 REST API メソッドを作成 メソッドリクエストの設定 URL クエリ文字列パラメータ 統合リクエストの設定 マッピングテンプレート マッピングテンプレートを設定する理由 Lambda 関数の作…

Elasticsearchでドキュメントを指定した価格に近い順にソートしたい 昇順でも降順でもないので、これは_scriptセクションを使用してカスタムソートを定義するしかなさそう ロジックは各ドキュメントの価格と目標価格（params.target_price）との絶対値差を計算し、その差が小さい順（"order": "asc"）にドキュメントをソートすることを考えた できたクエリが以下 { "query": { "match_all": {} }, "sort": { "_script": { "type": "number", "script": { "lang": "painless"…

こんにちは、肌寒い日が続くと南の島の暖かい海に行きたくなる菅野です。 AWS上で、 様々なAIモデルを利用できるようになるサービス、Amazon Bedrockがリリースされました。 Bedrockでは今までのブログで紹介してきた、テキスト生成以外にも、画像生成に利用できるモデルStable Diffusionも利用可能になっています。 Stable Diffusion自体はOSSとなっているので無料で利用できますが、自身のマシンにインストールして動かす必要があり、動かすマシンにはある程度の性能のGPUも必須になってきます。 手軽にStable Diffusionをオンデマンドで利用できるのは…