Hatena Blog Tags
はてなブログ トップ
sharding
このタグでブログを書く

sharding

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
VTRyo Blog•1ヶ月前

ローカル開発環境の Rails 7.x × MySQLで水平シャーディングをやってみる

これは、Money Forward Engineering 1 Advent Calendar 2022 20日目の記事です。 今回はローカルでRails7.xとMySQLでHorizontal Shardingを試したので、かんたんに試せる例を書いておこうと思います。 前提 動作確認環境 Rails 7.0.4 Ruby 3.0.2p107 MySQL Ver 8.0.30 対象読者 rails newしたことがある前提になります。 Railsでの水平シャーディングに興味がある人 ローカルでさっと確認してみたい人 準備 rails newして、Itemと事業者を登録するだけのかんたんなApp…

#Advent Calendar 2022#sharding#Rails#MySQL

関連ブログ

Mirrativ Tech Blog•3ヶ月前

Raft + Redis な内製Redisサーバの紹介

こんにちは ハタ です。 Mirrativのインフラ内で実際に開発・運用している内製のRedisサーバについてお話したいなと思っています。 前回の記事 は、今回紹介する内製Redisサーバで起きたメモリリーク対策に関するお話しとなっておりますので、もし未読であればあわせて読んでいただければと思います。 今回はなぜ Redis サーバを内製することにしたのかの経緯や実装についての簡単な紹介が出来たらなと思っています Redis 導入の経緯 課題感: 揮発しないでほしい 課題感: 生存時間が短いデータを保持したい 課題感: 日次データをなんとかしたい 候補 Redis Cluster のヨシアシ:…

#MySQL#Redis#sharding#Replication#インフラ
オムライスの備忘録•4日前

【自然言語処理】Transformer #まとめ編

Index Index アルゴリズム BERT / 2018 ★ GPT / 2018 - ★ Memory Compressed Transformer / 2018 Transformer-XL / 2019 MT-DNN / 2019 XLNet / 2019 RoBERTa / 2019 ALBERT / 2019 ERNIE / 2019 ERNIE 2.0 ERNIE 3.0 Sparse Transformer / 2019 Compressive Transformers / 2019 Megatron-LM / 2019 XLM / 2019 - T5 / 2020 ELEC…

niwatakoのはてなブログ•11日前

2023/01/17 のarXiv ブロックチェーン関連新着論文概要 DeepL翻訳

arXivで「Blockchain」で検索した新着論文の概要をDeepLで翻訳しています。 ブロックチェーンでモバイルヘルスアプリケーションをGPUコンピューティングによる高速化 Published at 2023/01/12 06:30:43 (JST) Blockchain For Mobile Health Applications: Acceleration With GPU Computing ブロックチェーンは、線形にリンクされた分散型の非常に堅牢なデータ構造です。元々はBitcoinの分散スタックの一部として提案されましたが、多くの分野で応用され、特にスマートコントラクト、ソーシ…

Opensourcetechブログ•23日前

CLOUD NATIVE TRAIL MAPを読み解く！

LinuCエヴァンジェリストの鯨井貴博@opensourcetechです。 はじめに 今回は、CNCFが考える クラウド ネイティブへの移行を開始する企業向けの概要 である CLOUD NATIVE TRAIL MAP を読み解いてみます！ CLOUD NATIVE TRAIL MAPとは クラウド ネイティブへの移行を開始する企業向けの概要 であり、 オープン ソースのクラウド ネイティブ テクノロジーを活用するための推奨プロセス です。 ステップは10あり、ステップ3以降はオプションとなります。 各ステップで利用できるサービスやツール・ソフトウェアは、クラウド ネイティブ ランドスケープで…

Insight Edge Tech Blog•1ヶ月前

AWS re:Invent 2022 参加レポート その1

こんにちは、Insigth EdgeでData ScientistをしているKNです。 本日は、Las Vegasで11月28日から12月2日まで行われたAWS re:Invent 2022に参加してきましたので、その報告をいたします。今回発表された新サービスについての深堀りやサービスの技術的な詳細については言及しません。私個人の感想、お気持ちメインとなりますのでご了承ください。 本記事の構成としては、まず最初にre:Inventの全体的な感想を述べた後、私が参加した講演の気になった点について報告させていただきます。 全体所感 今回、re:Inventには初参加です。まず、最初に驚いたのはその…

TiDB commits•3ヶ月前

TiDB Commits on 2022-11-11

github.com executor: split hashjoin into workers(part1) by XuHuaiyu · Pull Request #39063 · pingcap/tidb · GitHub Hash joinの実行を複数のワーカーに分割するようにしています。 ddl: refine logic of OwnerCheckAllVersions by wjhuang2016 · Pull Request #39070 · pingcap/tidb · GitHub OwnerCheckAllVersionsが無効なinformation_schema.clu…

RAKUS Developers Blog | ラクス エンジニアブログ•3ヶ月前

ここがすごいぞyugabyteDB！～OSS版CloudSpanner～

こんにちは。インフラエンジニアの gumamon です！ 近年、Kubernetes等の登場により、アプリケーションのスケールアウトはとても簡単になりました。対して、データベース(DB)のスケールアウトは依然として困難です。 「RDBMS」⇒ データの一貫性は保てるが、スケールアウトが難しい 「NoSQL」⇒ データの一貫性を保てないが、スケールアウトが容易 DBのスケールアウトを考えるとこの２択に行きつく、というのが今までの常識だったかと思いますが、 『どっちも！』が出来てしまう第３の選択肢が登場しました。 データの一貫性を保て、且つスケールアウト容易な『NewSQL』！ 最近、NewSQL…

Sunmiの日記•4ヶ月前

情報開発と利活用20221011

11Oct （4）2022年10月に コインベースで買うべき暗号通貨トップ10 2022.10.11（4）Top 10 Cryptos to Buy on Coinbase in October 2022 2022年10月に コインベースで買うべき暗号通貨トップ10テーマ：英語のお勉強日記(7271)カテゴリ：仮想通貨4.Ethereum(ETH) — $7September:⬇️14.5%4.イーサリアム（ETH）－7ドル９月：⬇️14.5％I mean, c’mon, you didn’t think I was going to leave it offcompletely, did y…

Creative Field Blog•5ヶ月前

AWS Cloud Best Practices 備忘録

https://d1.awsstatic.com/whitepapers/AWS_Cloud_Best_Practices.pdf AWS CloudFormationとTerraformの違い AWS CloudFormationは、AWSにおけるIoC (Infrastructure of Code) Terraformは、マルチクラウドに対応している。 session affinity ロードバランサーにより、初回にログインしたサーバにリクエストを送信できること。 AWSでは、Sticky Sessionという。 Amazon Elastic Container Service (Ama…

TVer Tech Blog•5ヶ月前

ISUCON12の本選にパカパカアルパカとして出場し、Failしてとても悔しい思いをしてきました！

どうもこんばんは！ バックエンドのリードエンジニアをやっているうつみです。 8/27(土)に開催されたISUCON12の本選にチーム：パカパカアルパカとして参加してきたのでその感想を書いていこうと思います。 タイトルにも書きましたが、結果は残念なことに Fail でした！ 今回のテーマは？ 今回の問題はソシャゲでした！ 私は前職がソシャゲの会社でバックエンドをやっていたので出題の動画を見たときに謎のプレッシャーを感じていましたｗ でも、前職でも色々チューニングはしてきたのでやってやるぞ！という気持ちで頑張りました。 Failの原因は？ 追試で失格になってしまったようです。 私がオンメモリキャッ…

らいむぎばたけ•7ヶ月前

ひとつの Rails アプリから 複数の Sidekiq プロセスを扱う

ひとつの Rails アプリで Sidekiq worker によって使う Redis を分けたい。 Sidekiq のプロセスはひとつの Redis と接続することを前提としているので、複数の Redis と接続する場合には Redis の数に合わせて Sidekiq のプロセスが必要になる。 ここではふたつの Sidekiq プロセスを扱い、接続先の Redis の URL は全て環境変数に入れるものとして書く。 config/initializers/sidekiq.rb Sidekiq.configure_server do |config| config.redis = { url:…

TiDB commits•9ヶ月前

TiDB commits on 2022-04-18

github.com server: use max_allowed_packet to limit the packet size. by CbcWestwolf · Pull Request #33651 · pingcap/tidb · GitHub max_allowed_packetを実際にパケットサイズを制限するように変更しています。 executor: migrate test-infra to testify for testSuite2 by tisonkun · Pull Request #34046 · pingcap/tidb · GitHub testSuite2をt…

夜風のMixedReality•10ヶ月前

Blenderで影のみをベイクし、Unityで表示する

本日はUnity×Blender調査枠です。 Untiyでは様々なShaderを使用することができます。 この中で最も軽いShaderと呼ばれているShaderがUnlitなシェーダーです。 これはライトの処理を計算しないため非常に軽量と呼ばれています。 今回はこのUnlitで影を表示する表現を行っていきます。 〇影のテクスチャ Unlitで影を映りこませるためにはあらかじめ影をテクスチャに焼きこみそのテクスチャを使用する方法があります。 Blenderではこの作業をベイクと呼びます。 ①Blenderでキューブを作成し今回はこのキューブを使用します。 ②UV展開を行います。 ③Shardin…