sharding

この記事は 私は、株式会社エニグモでチームのマネージャをしている後藤です。 マネージャ業務の傍ら開発作業を行うこともあります。 この記事はEnigmo Advent Calendar 2024の10日目の記事です。 この記事では多くのRubyを使っている人が、使っているであろうruby-lspを少し便利にする ruby-lsp-addons について紹介しながら、VSCode でどのように活用できるのかについて紹介したいと思います。 ruby-lspとは ruby-lsp とは、Ruby言語向けに Microsoft が定義している、Language Server Protocolを実装したサ…

2024/12/07分のコミットです。 CHANGELOGへの追加はありませんでした。 Update examples in horizontal sharding to avoid confusion rails guideのMultiple Databases with Active Recordの修正です。 connected_toで接続先を明示的に指定する場合のexampleコードがエラーになる内容になっていたのを修正しています。 Switch Redis image to Valkey in rails generators and devcontainers railtiesの修正…

メッセージ監視 はじめに OpenShift Cluster Logging Ruler メッセージ監視の通知先の AlertManager 利用するアプリとメッセージ監視ルール アラート監視の設定の有効化 パターン1: 管理者用の AlertManager への通知 パターン3: 利用者用の AlertManager への通知 まとめ メッセージ監視 はじめに 急に冷え込んできました。OpenShift Advent Calendar 2024 の 7 日目の記事です。先日 5日目の記事でアラート通知先がどのように変えられるかを確認しました。 本日は、Cluster Logging 機能の1…

DBRE Advent Calendar 2024この記事は、DBRE Advent Calendar 2024 1日目の記事です(꜆꜄•ω•)꜆꜄꜆遂に！遂にDBREのAdvent Calendarを作ることができました！！ 憧れは止められないんだぜ、というセリフは有名ですが、憧れはいつか実現できるんですね…感無量でございます。このAdvent Calendarの管理者をさせていただいています、tomoです。 初日、オープニングの記事としてはなかなか異色なタイトルを書かせていただきます。「DBREをやめてみてわかる、DBREとは何だったのか」どうかこの記事が、DBREをやってみたい、目指した…

シャーディング（Sharding）は、大規模なデータベースや分散システムにおいて、データを褧行うための手法です。この手法では、データを複数の部分（シャード）に分割し、それぞれを異なるサーバーやノードに格納することで、効率的なデータの管理やアクセスを実現します。 シャーディングの概念 データの分割 データを均等に分割することによって、各シャードが特定のデータのサブセットを保持します。例えば、ユーザー情報を持つデータベースがある場合、ユーザーIDに基づいてデータをシャーディングすることが考えられます。 独立したシャード 各シャードは独立して動作し、特定のノードに格納されます。これにより、特定のシャ…

2024/9/21 https://tokyo.serverlessdays.io/2024 https://serverless.connpass.com/event/325659/ 感想 運営の方からお願いのあったフォーマットで ①今日1番良かったセッションと良かったポイント 毎日放送の野球中継の話が1番良かった ユーザとして身近な内容なのでそそられたし、技術面の話も選定の流れなど面白かった 土曜朝からで眠気もあったがこれだけは最後まで聴き入ってた 他には生成AI関連はこれまで接点がなかったから知識が増えてよかった ②自分のプロジェクトで今度TRYしてみよっかなと思ったサーバーレスな施策・…

https://findy.connpass.com/event/327076/ こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。(なぜか埋め込み画像が表示されない...) 会の概要 会の様子 負荷試験マニアクス 負荷試験に関する定量的データ 負荷試験をする理由 近年の負荷試験の傾向 失敗事例 大規模サービスの負荷試験を改善していった話 事例のコンテキスト説明 負荷試験の変遷 今後やりたいこと Rustではじめる負荷試験 Gooseの紹介 実装例の説明 Gooseの良いところ 会全体を通した感想 会の概要 以下、イベントページから引用です。 システムの複雑化が進む今…

Reproでチーフアーキテクトを担当しているjoker1007です。 今回、社内のデータストレージの将来的な選択肢の一つとしてApache Hudiというテーブルデータフォーマットについて調査と実データでの検証を実施しました。 この記事では2回に分けて、そもそもhudiってどんなフォーマットなのか、どういうデータで検証してどんな結果が得られたのかについて紹介します。 ということで第1回は、hudiそのものについての紹介をしていきます。 この記事はhudi-0.14.1を利用して検証した時のものです。また社内向けに書いた資料の手直しであるため丁寧語でないことに御留意ください。 Hudiとは何か、…

はじめに こんにちは。ソーシャル経済メディア「NewsPicks」の QA/SET チームの海老澤です。 先日は Playwright を使ったE2Eテストの導入について、紹介させていただきました。 今回は作成したテストをAWS 基盤上で動かす方法を紹介させていただきます。 前回の記事 tech.uzabase.com E2Eテスト実行のタイミング NewsPicksでは 下記のタイミングで E2Eテストを実行させています。 ①リリース時のカナリーデプロイ後 NewsPicks ではカナリーリリースを採用していてカナリーへのデプロイが完了した後、カナリーに向けてE2Eテストが動きます。 ②開発…

www.youtube.com 関心のあるところだけ抜粋。 Introduction 4 つのキーワード: Keyspace は MySQL のデータベースに相当する。論理的なデータベースを表すので、実際は複数に horizontal sharding された物理データベースで構成される。 [補足] Vertical split (partitioning) する場合は別の Keyspace を立てることになる Shard は Keyspace の subset。Keyspace は複数の Shard で構成できる。1 Shard は 1 primary と 0 ~ n の replica で…

research.google Monarchのまとめ # 論文まとめフォーマット ## どんなもの？ - Googleの内部と外部のすべてのサービスで使われる監視に用いられるインメモリデータベース - Cloud Monitoring や Managed Prometheus、課金データのためのメトリクスなど - GoogleのストレージのBigtableやストレージ基盤であるColossusの監視にも用いられる（ColossusにはBigtable（GFS版）が部分的に用いられる） ただし、Monarch自体の監視にはmetaと呼ばれる、安定した古いバージョンのMonarchが用いられる …

はじめに 送信回数の制御と Exactly-once delivery メッセージ順序と Message Ordering エラーハンドリングと Dead-letter topic まとめ はじめに 最近、仕事で Google Cloud Pub/Sub を使用したシステムの構築に関わる機会がありました。この過程で、Pub/Sub のメッセージ配信の挙動や各種設定について学ぶことができました。 公式ドキュメントが最も信頼できる情報源ですが、その内容を自分なりにメモとしてまとめて残しておくことを目的としています。 送信回数の制御と Exactly-once delivery Pub/Sub はデ…