Elasticsearch

(2024/12/10 13:35) Elastic Stack (Elasticsearch) Advent Calendar 2024のリンクを追加 初めまして。ECシステムエンジニアリング部門 EC商品基盤グループ サーチチーム 松浦です。 今回は、全文検索エンジンElasticsearch のバージョンアップの具体的な取り組みについて取り上げます。 このブログ記事の内容はElasticsearch株式会社が主催するElasticsearch Community in Osaka - connpassで発表した内容を元に作成しました。 また、Elastic Stack (Elastics…

画像提供: Pexels エンジニアのビリーです。 今年はCI改善PJに取り組んできましたが、その結果、CI実行時間を50分から13分に削減することができました。そのやり方を紹介していきたいと思います。 課題 CIの実行時間は2024年5月には50分以上かかっていました。長いCI時間はエンジニアの生産性に悪影響を与えるので改善することになりました。 以前のテストアーキテクチャでは、単一のECSタスクが複数プロセスを使ってテストを並列実行していました。すべてのテストは、アプリケーションと同じデータベースを使用していました。 前の自動テストアーキテクチャ ※DBにはMySQL、Elasticsea…

こんにちは、Voicyでフルスタックエンジニアをしているうおくんです。今回は、Voicyの裏側で稼働している検索システムと、Androidアプリの検索UXを改善したプロジェクトについてお話しします。Voicyは音声メディアとして、たくさんのリスナーが日々様々なチャンネルを楽しんでいますが、よりリスナーに寄り添った検索体験を提供するために、今回の取り組みを行いました。 プロジェクトの背景 新しいリスナーがVoicyを使う際、自分の聴きたいチャンネルを見つける手段の一つが検索機能です。しかし、旧システムでは検索時に表示されるサジェスト（検索候補）のロジックが古く、リスナーが自分の求めるチャンネルに…

はじめに レバレジーズシステム本部 NALYSYSグループ テックリードの桐生です。 NALYSYSとは、ピープルマネジメントを支援する「NALYSYSモチベーション管理」や労務業務を効率化する「NALYSYS労務管理」などの機能を多数持った、人事労務に関わる課題を解決するためのSaaSです。 そんなNALYSYSでは、今年4月に新たに「NALYSYS従業員ライブラリ」をリリースいたしました。こちらのプロダクトではマイクロサービスを跨いだ検索を実現する必要があったのですが、これにより今までにない設計上やパフォーマンス面の問題に直面し、また短い納期の中でこの問題を解決する必要がありました。今回の…

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編1 acro-engineer.hatenablog.com 本記事では運用編２…

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAzure編の記事になります。AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 ＜運用編２ 近日公開予定!!＞ 本記事では運用編1として、Elast…

「GPT-4o」が5月にリリースされて、この記事を書く準備をしていたら、数日前に「GPT-4o mini」がリリースされて、「マジ！？」 となっている今日この頃 リモート勤務と電気代の天秤に絶賛悩んでいる 検索チームの tanker です。 (一応補足すると、会社から一律 5千円のリモート勤務手当が出ています) Azure OpenAI の On Your Data で Elasticsearch が利用可能に Azure OpenAI で RAG (※) を実現するための機能として On Your Data があります。 (※ 信頼性の高い内部のデータを使って回答を生成する仕組み) 従来は、…

こんにちは、フォースタートアップス株式会社のエンジニアの李です！ 今年の4月に新卒で入社後、STARTUP DB（スタートアップデータベース)（以降SDB）の開発チームに参画し、半年経ちました。早いものですね。 （入社直後にこんな記事を書いています！もしよろしければ合わせてご覧ください！） tech.forstartups.com 今回のテックブログでは、入社してからの半年間で体験したSDBチームのアジャイル開発についてまとめていきます。 SDBチームの雰囲気はどんな感じ？ アジャイル開発をどのように進めている？ 本稿を通じて、これらの疑問が少しでも解消されれば幸いです！ 目次 1. SDBチ…

この記事は クラウドワークス グループ Advent Calendar 2024 シリーズ3の13日目の記事です。 こんにちは。株式会社クラウドワークスで「クラウドワークス」の開発を担当しているエンジニアの keigo0331 です。 最近はデータサイエンスに興味を持ち始め、趣味で数学や統計学を勉強しているのですが、難易度の高さに悪戦苦闘しています。一応大学では数学を専攻していましたが、約10年のブランクがあるとほとんど忘れてしまうものですね。 さて、今回の記事では、私が所属しているプロダクト開発チーム「デリバードチーム」についての内容です。 私は入社以来このチームで活動しており、気づけば3年…

前回までの記事： ELK Stackの利用1：はじめに pythonスクリプトを使ったElasticsearch（ES）からのログ取得について述べる。もともと、簡易エラー解析シェルスクリプトを作成していた。引数に日時を指定して実行すると、その日時の数分前からの全ログを取得し、それらの内容を吟味して、エラーを引き起すきっかけとなったものを探しあてるというものである。シェルスクリプトといえど2000行近いコード（コメント部分を除くと1500行）で、二人で手分けして作った。これの欠点として、新たなエラーに対応させるのが容易でないということがあり、より扱いやすいものにするべくpython化をはかること…

マルチテナントSaaSアーキテクチャ構築ガイド LLM活用によるソフトウェア開発自動化 PostgreSQL履歴テーブルからの最新データ取得 初心者向けサイバーセキュリティ情報 ALTER TABLEによるMySQL障害と再発防止策 曖昧な指示による作業ミスと改善策 ベゾス氏出資AI半導体による日本市場参入 OpenAIのLLMにおける悪巧み行動 YouTubeのAI日本語吹き替え機能開始と不正視聴対策強化 エンジニアの主体性向上のための取り組み Google系ロボットAIスタートアップPhysical Intelligence Microsoftの水を使わないデータセンター技術 ソフトウェア…

今回のテーマはELK Stackの利用。"ELK Stack"はElastic社が提供しているプラットフォームで、頭文字になっているElasticsearchは全文検索、LogstashはElasticsearchへのログ投入、Kibanaはログ解析、の各アプリケーションである。ELK Stackはその他アプリケーションも含んでいるのだが、自分が実際に使ったのは上記3アプリだけだったので、それらについて書こう。 プロジェクトの別部署が、日々算出される大量のログデータをElasticsearchに保管する仕組みを構築した。そこで以前作成した、ファイルからログを切り出して解析するプログラムを作り変…

OpenAIの動画生成AI Sora Googleの量子チップWillow 問い合わせフォームのスパム対策 安全なSSH,SFTPの使い方 効果的なコードレビュー セキュリティ学習コンテンツ紹介 PostgreSQLを用いた履歴テーブルからのデータ取得 PostgreSQLを用いた時間枠管理 ソフトウェアアーキテクトのための意思決定術書籍紹介 マルチテナントSaaSアーキテクチャ 秋葉原ゲーミングPCイベント情報 モスバーガーアプリ障害情報 Reactアプリのパフォーマンス最適化ツールReact Scan ChatGPT有料版に関するニュース 一太郎40周年記念キーボード WebKit(Jav…

こんにちは、NTTコミュニケーションズの現場受け入れ型インターンシップ2024に参加した大学2年生の大堀です。X（旧:Twitter）では@LimitedChan（限界ちゃん）というハンドルネームでサイバーセキュリティに関して活動しています。 普段は大学で情報系の学習をしながら、個人的に脅威インテリジェンスをはじめとしたサイバーセキュリティに対して興味があり、さまざまな学習に取り組んでいます。 2024年8月26日〜9月6日までの2週間、「脅威インテリジェンスを生成・活用するセキュリティエンジニア/アナリスト」としてNetwork Analytics for Security（通称:NA4Se…

本記事はRettyアドベントカレンダー2024の9日目の記事です。 Rettyでエンジニアリングマネージャを務めている山田です。 2022年の年末頃にChatGPTが登場してから早2年となります。 当初は革新的なAIという印象でしたが、時間の経過によりLLMを普段の生活や業務に活かしたり、これを応用したアプリケーションの開発を検討するなど、こうした発明もある程度浸透してきている頃合いではないかと思います。 特に、LLMは任意の自然言語形式のデータの取り扱いに優れ、これまで実現が難しかったアイデアを形にすることができるため、LLMを応用して新しい体験を提供する機能の開発に取り組んでいる方や、すで…

はじめに アドベントカレンダー 9 日目担当の廣瀬と申します。私は doda グロース開発に所属しており、普段は doda サイトの開発に従事しております。 業務でもベクトル検索に触れる機会があり、今回ベクトル検索についての記事を書く機会をいただきました。 昨今、生成 AI という言葉をニュースなどで耳にする機会が多くなっているかと思います。実はベクトル検索も裏側で生成 AI が活用されている技術の 1 つになります。 今回はベクトル検索の概要から始まり、Solr での活用方法、そして、実際に試す方法を紹介していきます。 はじめに 1. ベクトル検索とは？ ベクトル検索の概要 2. Solr …