DBT: Dealectical Behavior Therapy →弁証法的行動療法
ご挨拶 はじめまして。 このブログで初登場となります、データ戦略室のaranです。 今年の2月よりジョインしました。 どうぞよろしくお願いします。 私は、主にデータパイプラインを担当しており (非)構造化データをパースし、データ登録し、データ整形する いわゆるETL / ELT作業を行っており Transform部分に、dbtを採用しています dbtについては、こちらのサイトがよくまとまっています。 詳細はこちらにお任せするとして www.flywheel.jp データウェアハウスに保存されているデータを変換してデータウェアハウスに書き戻す部分で使用するツールになります。 dbtの主な利用方法…
前回の記事 dbtのベストプラクティスを知る① - なむなむ 今回は、最後の2章からPro-tipsを学ぶぞ。 Pro-tips for workflows Use the model selection syntax when running locally 開発中、作業中のモデルと下流のモデルのみ実行するのが良いことがある モデル選択構文を使用する Run only modified models to test changes ("slim CI") 自信をもってコード変更をマージするには、それによりプロジェクトの他の場所が壊れないか知っておく必要がある そのために、本番データとは別のサ…
ベストプラクティスから読んで始めるdbt という記事が、とても素晴らしいなと。 しっかり公式のdocsを読む 自分なりの感想（得られた事項）を持つ わからないこともメモしておく 同じようにやってみよう。 馬鹿みたいだけど、同じ記事で。 （ついでに英語のリーディングも頑張ろう） docs.getdbt.com Best practices ベストプラクティスを見ておくことで、可能な限り効率的になる プロのTipsを実装すればdbtプロジェクトが洗練される Best practice workflows Version control your dbt project dbtプロジェクトはヴァージ…
最近もっぱらdbt (data build tool) についての検証をしています。dbtは現時点だとなかなか日本語の情報があまりなく公式のドキュメントを頑張って読んで理解していく必要があるので、日本語にてこういう便利な機能があるよっていうのを紹介していく需要はあると思っています。（情報がないといってもすでにclassmethodさんのブログがいい感じに紹介してくれていますので参考になります。Youtubeの動画もあるのでそれも勉強になります。） www.getdbt.com 今回はdbt自体の紹介をしつつも、その背景のモデリングに関する情報も織り交ぜていこうかと思います。 今回はSCD (S…
こんにちは、データプラットフォームチームでデータエンジニアをやっている滑川(@tomoyanamekawa)です。 以前紹介したデータ分析基盤であるソクラテスの改善のためにCloud Composer(Airflow)で行っている処理のdbtへの置き換えを検討しましたが、導入を見送りました。 調べてみてdbtに対するわかりみも深まったので、その供養のために検討内容を公開します。 同じように検討している方の参考になれば幸いです。
みなさんおばんどす。夏真っ盛りのお盆ですが、皆さんいかがお過ごしでしょうか。 最近TLなどで、良くdbtというツールを目にします。 データ変換の品質を高める、などという枕詞でよく紹介されていますが、結局のところ何ができるのか？に興味がわいたので、触ってみました。 今回は、dbtの前にそもそもデータエンジニアリングって何だろう？というところから、このdbtについて、さらにはどんな人が使えるのかを考えてみました。 データエンジニアリングってなんだ？ データ分析に少しでも興味ある人なら、聞いたことがあるかもしれません。 「あぁ～、データ加工するETL処理を作ったり、データサイエンティストが欲しいデー…
今日の夕食は、韃靼野菜蕎麦、縞ほっけの干物でございます。非常にシンプルな和食ですが、洋食よりもこういったメニューのほうがホッとします。 帰宅すると大切な人からの荷物が届いておりました。この場を借りてお礼申し上げます。助かります、本当にありがとう。大切に使わせていただきます🥺 しかし、彼女の元気がない。心身ともに元気が出ないみたいで、その様子がライン越しでも伝わってくるほどです。考えてみたら先日までメンタルの状態が非常に悪かったわけで、急に元気に元通りなるはずがありません。オーソモレキュラー療法を開始したのが先月中旬で、まだ1ヶ月も経過していない。どんなことでもそうだけど、3ヵ月ほどが経過してよ…
2022年8月5日(金)発売のブースターパック第6弾トレカ【BOX】カードファイト!! ヴァンガード will+Dress ブースターパック第6弾 鳳竜焔舞 [VG-D-BT06]に収録されるの収録カードリストと個人的な当たり・トップレアを紹介。 駿河屋では2割引き！ トレカ【BOX】カードファイト!! ヴァンガード will+Dress ブースターパック第6弾 鳳竜焔舞 [VG-D-BT06] トレカカードファイト!! ヴァンガード overDress タイトルトライアルデッキ第4弾 SHAMAN KING [VG-D-TTD04] こんにちは！まいログのまい。です！このページでは、カードフ…
DP Engineering Monday についてはこちらの記事をご覧ください。 blog.drsprime.com 第41回 (2022-08-01) www.youtube.com A Philosophy of Software Design 6章 by oinume Cloudflare WorkersでGoのHTTPサーバーを動かすライブラリを作った話 by @__syumai Datastore モードの Cloud Firestoreなのにトランザクションの制限が掛かったままになる by @issuy_ BigQueryの権限管理についてメモ by @michio0o 第42回…
タイトル通りの簡易まとめ情報 鉄板ネタ 基本People Analytics | GitLab 人事データモデル開発 a. BambooHR (給与計算、福利厚生、基本的な人事レポートを作成するための人事システム): transform/snowflake-dbt/models/legacy/bamboohr · master · GitLab Data / GitLab Data Team · GitLabb. Greenhouse (採用): transform/snowflake-dbt/models/legacy/greenhouse · master · GitLab Data / …
podman を用いて Oracle DB 環境を作成した際のメモを整理します。 Oracle 社のリポジトリへアクセスするためのユーザー／パスワードを指定してログインを実施 podman login container-registry.oracle.com Username: <My Oracle Supportのユーザー名> Password: <My Oracle Supportのパスワード> Oracle DB コンテナイメージを pull podman pull container-registry.oracle.com/database/enterprise:19.3.0.0 O…
2022/7/21(木曜日)にオンラインで開催された「Looker User Meetup Online #8」に BASE BANK Dev Groupの永野(@glssmonekey)が登壇しました。 looker-japan-user-group.connpass.com イベントについて 今回のテーマは「Lookerまでのデータデリバリー、みんなどうしてる？」でした。 各社のLookerまでのデータパイプラインの構成やチーム構成など、Lookerを中心にしたデータに関する話題でわいわいしました。 当日は弊社含めて次の4社（敬称略）の発表が行われました。 Unipos株式会社 株式会社タ…
こんばんは id:masutaka26 です。 本日、Looker User Meetup Online #8 で『BigQuery経由で使うGoogleスプレッドシートのスキーマ管理』の話をしてきました。Looker User Meetup は 5 回目の参加、発表は初めてです。 いくつかネタはあったのですが、今回のテーマは「Lookerまでのデータデリバリー、みんなどうしてる？」ということもあり、この 2 年で確立した方法を紹介することとなりました。 bq CLI ではなく、terraform で管理している方もいらっしゃいました。terraform の更新に追随するのはそれなりに大変だと…
本日もご訪問ありがとうございます。 行ってきました『幻魔大祭2022』！魔つやま！ わたくしごとで恐縮にございますが、わたしは出身が愛媛でございまして、なので魔族のリズム隊と同郷、そんな魔族の凱旋は同郷の民として喜びもひとしおなのですよ(魔族の愛媛では『松山』ではなく『魔つやま』らしいので厳密には違いますけどね。しかもわたしは松山の出ではないし)。 なっがい前段。飛ばしていただいてもなんら問題ございませんよ 開演です。 粋NALI 幽星より愛を込めて 幽楽町線 幻魔大祭 鼻茸 狂感できない 鬼畜 JOVE JOVE～M.O.8 絶妙Σ 攻撃的国民的音楽 マーガレット廣井さんも生きている 金土日…
qiita.com Kさんの記事に触発されたので書きます。 この記事で示す手順の良い点は、dbt docsで生成された各種ファイルからHTMLファイルを生成しておくことで、GAEの設定が更に楽になるというところにあります。
ガレージミーティングも3年目に突入して変化してきたことがあります。そのいくつかを紹介させて頂きます。 その１：参加申込の変化「その日空いていれば行ってみるかな」から「参加するために日程を空ける・調整する」って感じになったことがあります。だいたい、参加申込は、3週間前ぐらいを目途に行ってきました。告知３日から１週間ほどで10名ほどから申込を頂きます。 その２：ブリーダーの参加ブリーダー（業取得者）の参加が増えてきていること。中には、私から初めて亀を購入して育成して産卵・孵化に繋げてくれた方、ガレージミーティングに参加して、「こんな場所なら、私も自分の繁殖した子亀を販売したい」方まで。亀談義に始ま…
正直なところ、配達側からすると現金払いは面倒くさいというのが本音だ。宅配便に代引き手数料があるように、欲を言えば50円～200円くらいで良いので手数料を取ってもらいたいとさえ思う。客が任意で払うチップ制よりわずかでも現金取り扱い手数料があった方が断然良い。 おつりのお金があるかどうか気を配っておかなければならないし、現金のやりとりに時間がかかってしまって余計な手間や労力が増えてしまうからだ。受け取ったお金の数え間違いやおつりの計算ミス、さらには滅多にないがお金を落とし紛失してしまうリスクもある。 ドッペルギャンガーの「ライダーズ ホルスターバッグ2」は特に原付で配達する人にとって現金払いの面倒…
【さばいどる #かほなん さん】身近なモノで #防災 対策を紹介するコーナー🍀 スタジオ出演終了🌟 次回は、中継でお伝えします🎥 #かほなん さんのスタジオ出演シーン 👇 https://t.co/sjzQkYTZUw#防災対策 #水害 #地震#ゆう５時 pic.twitter.com/S6aW6F9Kh7— ゆう５時(金曜はきん５時） (@nhk_yu5) July 7, 2022 【画像】今日の田中美都さん 7.7 - 激烈！女子アナニュース https://t.co/sj6m0iMeBS— amitamu (@amitamu91) July 7, 2022 ＼滋賀初✨女流棋士誕生🌸／滋賀…
猛暑日が続いたり、台風（熱帯的圧）が来たり、天候は落ち着かいですが、ブリーダーからは、続々と、2022年ＣＢのニュースが届いております。3週間後の開催ですので、餌食い等が確認できれば、出品されると思います。また、出品生体の明細については、随時更新していきます。 ◇参加予定ブリーダー ・「ゆ＆ハイエナ野郎」、「DBT・T」、「トウブハコガメブリーダー」 ・「yaccys」、「エム・ファントム」、「tohi」のTwitterは要チェックかもです。 ◇10:00～11:30の時間帯は満席になりました。遠方から都合がって場合は、メールでご相談くださ。 ※準備中の一コマ ◇Turtle Garage M…
「データ活用をより多くの人が、より効率的に実施できるようになる取り組み」をエンジニア観点から自発的に実施するカルチャーを持つ、自社開発プロダクト「Rtoaster（アールトースター）」のエンジニアチーム。今回は、データ基盤チームで作成した BigQuery でのテストシステムを紹介します！ こんにちは、プロダクトビジネス本部開発部の柴内（データ基盤チーム）です。今回は、自社製品である「Rtoaster」プロダクトのデータ基盤チームで作成した BigQuery でのテストシステムについてご紹介します。 背景 データ基盤チームでは、 Rtoaster製品からリアルタイムに連携される、Webやアプリ…
二回目の退職ブログとなってしまいましたが、6/30をもってメルカリを退職しました。 メルカリを退職した - 技術探し 一回目の退職の後に、アイルランドに住みながらメルカリWebのリアーキテクチャに関する技術顧問として1年半ほど働いた後に日本に帰ったタイミングでお誘いを頂き、2019年の11月に二回目の正式な入社をしました。 メルカリ メルカリ ソウゾウ 開発体制 フロントエンド Enabling Team なぜやめるのか？ Yuimedi 今後の仕事 / コンタクト さいごに メルカリ 入社後、リアーキテクチャとは異なりますが、メルカリwebの刷新プロダクトがはじまるということだったのでそちら…
buildup-db.blogspot.com
www.yasuhisay.info
speakerdeck.com
nippondanji.blogspot.com
zenn.dev
sotaro-tanaka.medium.com
blog.amedama.jp
atmarkit.itmedia.co.jp
attsun1031.github.io
