Elasticsearch

ElasticSearchを触っていて、形態素解析について基本的なことを知りたかったので、『はじめての自然言語処理』を読んだ。形態素解析については3章に書かれている。基本的なことがまとまっていてよかった。 初心者向けの本なので、以下のような基本的なことから説明されいた。 形態素解析とは、文を形態素と呼ばれる塊ごとに分割することである。日本語においては形態素はほぼ単語のことである。また、形態素解析では分割された形態素（単語）がどの品詞なのかということも判定する。 形態素解析は辞書を使う。形態素解析で使う辞書とは、人間用の辞書ではなく、単語の表記・活用形・品詞・活用形などの情報を持つデータセットで…

こんにちは。 クラシル開発部、バックエンドエンジニアの松嶋です。 delyに入社してから約3年間、私はSREチームに所属していましたが、昨年10月にバックエンドに転向しました。バックエンドに転向してからは、主にクラシルアプリの公式レシピおよびCGMコンテンツの検索機能に関する開発・改善に取り組んでいます。 クラシルは、2016年2月にサービスを開始してから、管理栄養士監修の「誰でも安全に・おいしい料理を作ることができるレシピ動画」を5万件以上提供してきました。 昨年12月には、クラシルのブランドリニューアルを行い、今後はシェフや料理研究家を中心としたクリエイターとともに多様化したユーザーの食の…

こんにちは、検索チームのよこやまです。最近はもっぱらハイラルにいます。世界を救うことを放棄して行う探索と工作はとても楽しいですね。 検索チームでは複数のプロダクトにわたり検索機能を管理しています。その中で、ある検索エンドポイントのみレスポンス速度が常に数秒かかっており、サービス体験に影響が出ていました。 今回はそのエンドポイントのレスポンス速度改善に向けて行った取り組みについてご紹介させていただきます。 実施した対応 調査手順・詳細 1. 遅いエンドポイントの現状確認 2. Elasticsearch公式ドキュメントの Tune for search speed を確認 3. 仮説列挙 4. …

インフラチームの西川です。 オープンワークでは検索等の処理速度改善のためElasticsearchを利用しています。 検索用のデータをElasticsearchに同期（投入）しているのですが課題を抱えており、今回はそちらを解決するために行ったことをまとめてみました。 構成 Before After Elasticsearch同期処理の課題 同期速度が遅い リリース時に同期ずれが起きる リリース手順が煩雑 同期クエリの確認が面倒 開発よもやま話 CDK メリット デメリット はまったこと IssueOps(branch-deploy) メリット デメリット はまったこと 最後に 構成 Befor…

こんにちは、CTOの小林です。kickflowでは検索基盤としてElasticsearchを利用しています。kickflowのバックエンドにはRailsを採用しており、以前はElasticsearchの統合にelasticsearch-railsという公式gemを使用していたのですが、これを使用しなくなったというお話をします。

はじめまして、Webアプリチームのビリーです。 Elasticsearchのおかげでユーザーはスピーディーに検索することができますが、Elasticsearchの開発は大変なことが多いです。それを楽にするために、symfonyのデバッグツールバーを活かしてカスタムなデバッグツールを開発しました。 今回はそのデバッグツールについて話していきたいと思います。 symfonyデバッグツールバーとは symfonyのデバッグツールバーは、ブラウザでsymfonyの役に立つデバッグ情報を確認することができるツールバーです。 詳細はこちらです：https://symfony.com/doc/current…

基本的なElasticsearchのコマンドは、たくさんまとまった記事があると思うので特に困らないと思いますが、プラスαとしてElasticsearchクラスタを運用していく上で知っていると便利かもと感じたコマンドや使い方を備忘録としてまとめてみました。 定期的に追加していくかもしれないです。 表示するカラムを絞り込む 例えば、クラスタに所属するノードの情報を表示させたい場合、cat nodes APIを利用しますが、デフォルトだとレスポンスは以下のようになります。 $ curl -X GET "localhost:9200/_cat/nodes?v" ip heap.percent ram.…

こんにちは、CTOの森です。iimonは今回が初のアドベントカレンダー参加です！ 本記事はiimonアドベントカレンダー1日目の記事となります。 はじめに 検証した環境 MySQL/mecabのインストール 大量のデータを入れる 1レコードのINSERTにかかった時間 検索してみる 検索文字列が「出来事」の場合 インデックスなし N-gram(bi-gram) IN NATURAL LANGUAGE MODE IN BOOLEAN MODE MeCab IN NATURAL LANGUAGE MODE IN BOOLEAN MODE 検索文字列が「チューリングはロンドンのリッチモンドに住み」の…

こんにちは、先日千葉に遊びにいったらアクアライン通行止めで東京湾迂回する羽目になった菅野です。 ChatGPTにて手軽にアプリケーションを自動で生成できるGPTsが世の中では大きな反響を呼んでいます。 プログラミングレスでChatGPTを利用するアプリを生成できるので、プログラマー以外の人がどんどん生成AIを利用するような流れが出来つつありますね。 さて、そのような流れにのってAmazonBedrockを利用してアプリを生成、共有するサービス、PartyRockがAWSからリリースされました。 早速利用してみましょう。 https://partyrock.aws/partyrock.aws P…

最新版FESSの設定方法 FESSの各種設定方法は公式サイトで公開されていますが、検索サイトで検索すると、古いバージョンのドキュメントが検索結果の上位に表示されることが多いです。 ここではバージョン14にて、よく使う設定を抜粋して、まとめておきます。 そのFESS、開発モードで動いてないですか？ FESSの左上を確認してください。左上のユーザーの横に「⚠」アイコンが表示されてませんか？ アイコンが表示されているのであれば、マウスカーソルを当ててみてください。次のようなメッセージが表示されるはずです。 開発モードで起動しています。本運用環境ではOpenSearchを別途インストールしてください。…

こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 様々なAIモデルを利用できるようになるサービス、Amazon Bedrockがリリースされました、と書き続けてそろそろひと月が経過しております。 楽しみながら様々なモデルを利用していたらあっという間に時間がたってしまいました。 今回は、BedrockのClaudeV2モデルを用いてPythonコードとテストコードを生成してみようと思います。 Bedrockの説明は、以下を参照してください。 acro-engineer.hatenablog.com 「Fizz Buzz」の生成 プログラミングの初歩も初歩、定番の課題といえ…

Terraform で AWS IAM ポリシーや Amazon S3 バケットポリシーを実装するときに terraform plan は通るのに terraform apply で失敗したり，terraform apply は通るのにポリシー自体に誤りがあって期待通りに動かなかったり，無駄にハマってしまった経験ってないでしょうか💨少なくとも僕はたくさんあるー ＼( 'ω')／ そこで Terraform と AWS IAM Access Analyzer の「ポリシー検証」を組み合わせたらどうだろう❓と思って調べてみたところ，GitHub の awslabs/terraform-iam-po…

エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 技術書典15が2023/11/12に開催されます。（オンライン開催は11/11〜11/26） 今回エムスリーでは有志で新刊を携えて参戦します。今回も多様な分野・技術について弊社スタッフが執筆いたしました。エムスリーのギークな面がふんだんに詰まった一冊となります。 お品書き オンラインでの購入は11/11以降、こちらからも可能です！ techbookfest.org この記事では皆さんに新刊を手に取ってもらえるように、各章がどんな内容になっているのかを紹介します。

こんにちは、クラシルリワードのSRE担当のjoooee0000です。 私はクラシルリワードのサービスローンチの約3ヶ月後にサーバー兼インフラエンジニアとしてjoinし、サービスの成長と共に、開発速度とシステムの信頼性の向上を目指してシステムの改善を行ってきました。 その中で、特に開発速度と信頼性向上に寄与したと思う3つの改善を紹介したいと思います。 改善を行う際に「コスト(金額、導入共に)と効果のバランス」「運用しやすいシンプルな設計」に特に気をつけたので、参考なると幸いです。 (話すこと: 取り組んだ施策の概要紹介、 話さないこと: 細かいhow to) やってよかったこと3選 ブランチ戦略…

こんにちは、最近ハンドブレンダーを購入し自家製バジルでジェノベーゼを作るようになった菅野です。 2023/11/6にOpenAIDevDayが開催され、ChatGPT関連の様々なアナウンスがありました。 openai.com その中でもChatGPTの新しいモデル、GPT-4 Turboについての情報をまとめていきます。 モデルについての詳細解説は以下の公式サイトをご覧ください。 platform.openai.com GPT-4 Turboのモデルは現在プレビュー版でgpt-4-1106-previewというモデルが試しに使える状態です。 数週間後に安定板のリリースがなされる予定だそうです。…

こんにちは！技術本部 Eight Engineering Unit でサーバーサイドエンジニアをしている常盤です。 今回は、Eight が提供している採用プラットフォームである Eight Career Design (ECD) の候補者検索機能の検索精度を改善した取り組みを紹介したいと思います。 materials.8card.net

ソース： medium.com 脆弱性：NoSQL 訳： イントロ この記事では、アプリケーションをテストして、 NoSQLインジェクションの脆弱性を見つける方法について説明し。 次のような SQL (構造化照会言語) を使用しないさまざまなデータベースで。 キー値指向のデータベース ( Redis | Memcached | DynamoDB ) ドキュメント指向データベース ( MongoDB | CouchDB ) ワイドカラム指向データベース ( Apache Cassandra ) グラフ指向データベース ( neo4j ) Source: NoSQL Database — What…

前書き 前提条件 ソースコード IAMユーザー作成 補足: IAMユーザー作成時の選択肢 参考記事 DynamoDB テーブルの作成 補足：予約語について データの追加 テストデータ(test_data.json)を作成するコード 注意点 create_json_file.py test_data.jsonを書き込むコード incert_data_json.py API Gateway API作成 REST API メソッドを作成 メソッドリクエストの設定 URL クエリ文字列パラメータ 統合リクエストの設定 マッピングテンプレート マッピングテンプレートを設定する理由 Lambda 関数の作…

Elasticsearchでドキュメントを指定した価格に近い順にソートしたい 昇順でも降順でもないので、これは_scriptセクションを使用してカスタムソートを定義するしかなさそう ロジックは各ドキュメントの価格と目標価格（params.target_price）との絶対値差を計算し、その差が小さい順（"order": "asc"）にドキュメントをソートすることを考えた できたクエリが以下 { "query": { "match_all": {} }, "sort": { "_script": { "type": "number", "script": { "lang": "painless"…