Hatena Blog Tags
はてなブログ トップ
Datastream
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Datastream

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
JX通信社エンジニアブログ•7ヶ月前

Datastream による Cloud SQL と BigQuery 同期：直面した課題と対応策

こんにちは、データ基盤担当の @mapler です。今回は DataStream を活用して、Cloud SQL から BigQuery へのデータ同期についてお話しします。 Datastream の設定は基本的に Google Cloud のドキュメント従って行えますので、この記事では、実際の設定時に直面した課題や対策を中心に説明します。 背景： データを BigQuery に同期することで得られるメリット JX通信社の「FASTALERT」は、日本国内外の緊急情報をリアルタイムで配信するサービスです。災害情報や事故、事件、気象警報など、幅広い分野の緊急情報を網羅しており、長年にわたって膨大…

#GCP#BigQuery#Datastream#CloudSQL#Google Cloud

関連ブログ

ぴょこぴょこブログ•1年前

Datastreamのバックフィルを高速化する

データソースとBigQueryのレプリケーションサービスであるDatastreamのバックフィル(初期化処理)を高速化する手法を紹介する。前提としてデータソースにはAurora MySQLを利用している。 cloud.google.com Datastreamのバックフィルには2種類ある。 インクリメンタル フルダンプ テーブルにプライマリキーがある場合にはインクリメンタルに、ない場合はフルダンプが使われると思われる(ドキュメントには明記されていない)。 インクリメンタルとは次のようなクエリを繰り返すことでちょっとずつBigQueryに連携していくということ。 select * from ta…

#BigQuery#Datastream
Adwaysエンジニアブログ•2年前

AWS Aurora から Datastream を使って BigQuery にデータをレプリケーションした話

どうも〜、お久しぶりです。 エージェンシー事業のエンジニアチームでユニットマネージャーをしていますぬまちゃんです！ エンジニアブログを書くのは新卒以来なので、４年ほどぶりってところです。 あの頃はエンジニアリングメインでしたが、今はマネジメント業務も行うようになり、「成長したなあ」「あっという間だったなあ」と感じる今日この頃です。 マネージャーとして奮起しているぬまちゃんが久しぶりに新しいことに挑戦したので、そのことを伝えていこうと思います。 背景 やったこと 準備編 起動編 1.ストリームの詳細の定義 2. MySQL 接続プロファイルの定義(Aurora MySQLとの接続について) 3.…

#BigQuery#Datastream#AWS