はじめに こんにちは。レバレジーズ、データエンジニアの森下です。 レバレジーズではBigQueryを中心にデータ活用基盤を構築しています。ELT処理は今までEmbulkを使用していましたが、データ更新頻度の向上による社内ユーザーの利便性向上とデータエンジニアの運用負荷軽減を考えて、今年度中に全てFivetranへ移管する予定です。すでにいくつかのRDBやSaaSの更新はFivetranにまかせており、日々その便利さを噛み締めています。 今回は、Fivetranを使った便利なポイントや困ったポイント、注意するべきポイントを紹介いたします。 Fivetranとは？ ELT専用のSaaS…

昨年9/2、LOVEBITESの仙台Rensaライヴに先立って調べていたことがありました。 東郷祐佳さん2017年居酒屋ライヴに近い そのラブミー牧場とはまさに目と鼻の先でした。 tabelog情報によれば、残念ながらコロナ後に閉店したとのことでした・・・。 当時の祐佳さんのツイートを遡ってみました。 お客様が弾くピアノに合わせて歌ったり 祐佳さん、わてくしとのコラボ（Time goes by）をツイートされていたとは(T_T) 尚、当時11/3の同場所では、河村隆一氏の関係者が集ったのか！？ わてくしが弾く「Love is…」でカラオケ 事前にもっと練習しておけば良かったのですが・・・。（今…

ちょいと酔うてきた～ 青春ソングだ～ youtu.be コメント欄がグッときますの〜

いらっしゃいまっせ～。ようこそ当ブログへ。 Welcome to my blog. あのくもにのって？一部縫い目？（網目）が強化されていますね。 いや～「暑さ災害級」と言われている意味がよくわかる連日の気温です。。。 まだこうしてブログ書いたりできているうちは大丈夫なんだとうと思いますが、意識朦朧としてきたら危険ということか。。。 年寄りはエアコンを嫌うとよく聞きますが、母もそのテで（どちらかというと普通に暑さに耐えられると思っている！？）。。。 自分といる間はエアコンONするのでいいのですが、一人でいる時が心配です（一人しかいないのにONするというのが気が引けるようです）。 そして、エアコン…

はじめに GLB事業部Lakehouse部の陳です。先日に弊社の松崎がDatabricksからFivetranへの接続について説明しました（記事はこちら）。今回は、FivetranからDatabricksへの接続方法を説明します。少し手間がかかりますので、松崎の方法がうまくできない場合のもう一つの選択肢として参考になれば幸いです。 目次 はじめに 目次 前提について 設定の流れ Part1：作業@Fivetran Part2：作業@Databricks Part3：作業@Fivetran データをDatabricksに転送 Databricksでの確認 おわりに 前提について 弊社の松崎が説明…

1.はじめに GLB事業部Lakehouse部の松崎です。今回も、FivetranをDatabricksと連携させたELT設定の作成について解説していきます。 本記事では、MySQL RDSコネクタを使った、Amazon RDS(MySQL)からの連携設定の作成を進めていきます。 ※過去の記事はこちら。 第1回 第2回 目次 1.はじめに 目次 2. 参考資料 3. 前提条件 4. 事前作業 : 検証用RDSインスタンスの用意 4-1. RDSインスタンスの作成 4-2. TLS設定の作成 4-3. サンプルデータの準備 5. ELT設定の作成 5-1. ELT設定の作成＆設定値の入力 5-2…

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、dbt cloudで作成したモデルのテストについて解説します。 前回の記事では、Partner Connectを使用してDatabricks Lakehouse Platformからdbt Cloudに接続し、Databricksにあるデータをdbt cloud上で変換する流れについて解説しました。 techblog.ap-com.co.jp 前回の記事で作成したパイプライン全体に対してモデルのテストを実行し、最後にドキュメントサイトから実行したテストを確認したいと思います。 目次 はじめに 目次 dbtにおけるテストとは S…