Hatena Blog Tags
はてなブログ トップ
Datastream
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Datastream

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Timee Product Team Blog•3ヶ月前

Aurora MySQL の GTID モード有効化と Datastream の安全な切り替え

はじめに こんにちは。タイミーで Platform Engineer をしている小河原（@kgwryk28）です。 現在、タイミーのシステムで利用しているメインのデータベース（Aurora MySQL）のバージョンアップを進めています。前回の記事では、アップグレードに伴う SQL の互換性や性能の検証について共有しました。 この記事では、そのアップグレードと並行して取り組んでいる Aurora MySQL の GTID モード有効化 を行うにあたって直面した課題と、それぞれをどう解決したかを紹介します。 GTID やレプリケーションに詳しくない方にも読んでいただけるよう、必要な前提はその都度補…

#AWS#RDS Aurora#MySQL#Datastream

関連ブログ

JX通信社エンジニアブログ•2年前

Datastream による Cloud SQL と BigQuery 同期：直面した課題と対応策

こんにちは、データ基盤担当の @mapler です。今回は DataStream を活用して、Cloud SQL から BigQuery へのデータ同期についてお話しします。 Datastream の設定は基本的に Google Cloud のドキュメント従って行えますので、この記事では、実際の設定時に直面した課題や対策を中心に説明します。 背景： データを BigQuery に同期することで得られるメリット JX通信社の「FASTALERT」は、日本国内外の緊急情報をリアルタイムで配信するサービスです。災害情報や事故、事件、気象警報など、幅広い分野の緊急情報を網羅しており、長年にわたって膨大…

#GCP#BigQuery#Datastream#CloudSQL#Google Cloud
ぴょこぴょこブログ•2年前

Datastreamのバックフィルを高速化する

データソースとBigQueryのレプリケーションサービスであるDatastreamのバックフィル(初期化処理)を高速化する手法を紹介する。前提としてデータソースにはAurora MySQLを利用している。 cloud.google.com Datastreamのバックフィルには2種類ある。 インクリメンタル フルダンプ テーブルにプライマリキーがある場合にはインクリメンタルに、ない場合はフルダンプが使われると思われる(ドキュメントには明記されていない)。 インクリメンタルとは次のようなクエリを繰り返すことでちょっとずつBigQueryに連携していくということ。 select * from ta…

#BigQuery#Datastream
BeeX Tech blog•3年前

Enterprise Scale Azure Data Factory and Data Factory in Microsoft Fabric

Target Introduction Infrastracture Integration Runtimes Private Link and Managed Network Programmatically Create Data Factory Redundacy Git Management For Connectors LinkedService / Connector / Dataset / Integration Runtime Dataflow / Pipeline / Activity For DataFlow Source Transformation Sink Intra…

#ETL#Datastream#Azure
Adwaysエンジニアブログ•3年前

AWS Aurora から Datastream を使って BigQuery にデータをレプリケーションした話

どうも〜、お久しぶりです。 エージェンシー事業のエンジニアチームでユニットマネージャーをしていますぬまちゃんです！ エンジニアブログを書くのは新卒以来なので、４年ほどぶりってところです。 あの頃はエンジニアリングメインでしたが、今はマネジメント業務も行うようになり、「成長したなあ」「あっという間だったなあ」と感じる今日この頃です。 マネージャーとして奮起しているぬまちゃんが久しぶりに新しいことに挑戦したので、そのことを伝えていこうと思います。 背景 やったこと 準備編 起動編 1.ストリームの詳細の定義 2. MySQL 接続プロファイルの定義(Aurora MySQLとの接続について) 3.…

#BigQuery#Datastream#AWS