DBT: Dealectical Behavior Therapy →弁証法的行動療法
こんにちは。ユニファでデータを活用してプロダクトとビジネスを成長させる仕事をしている浅野です。以前、価値のあるデータ分析基盤をつくるために実践したことについて記事を書きました。その時は開発プロセスの話がメインでしたが、今回はグッと実装寄りの話題として、比較的最近リリースされたdbt Python modelを手軽に使ってみる方法について共有したいと思います。
こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。 オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELT…
Rettyのデータ分析チーム アナリティクスエンジニアの井下田(@Hiroki Igeta)です。 この記事はRetty Advent Calendar 2022 の24日目の記事です。 ※Part1 と Part2 の2つがあります！！ はじめに dbtを使ってUDFを作成するメリット 1. macrosディレクトリ配下に作成したいUDFを定義する 2. BigQueryにUDFを作成する 2-1. macro を実行するための設定 2-2. macroを実行する 3. macrosディレクトリ配下に作成後のUDFを呼び出すファイルを作成する 4. modelディレクトリ配下のファイルで作成…
テックタッチアドベントカレンダー15 日目担当の teru です。今年の個人的ベスト家電はスマートフォンで見れるネットワークカメラでした。子ども達が寝室で寝ている様子を確認しながら家事ができるのでとても便利です。 きっかけ 輪読会の準備 輪読会の実施 やってみてどうだったか 良かった点 気になった点 終わりに きっかけ 13 日目の記事 でも触れているように、弊社でデータ分析基盤のモデリング用途に dbt の利用が始まりました。私の所属する分析運用チームでもこの流れに乗って、dbt を使って分析業務に関わる範囲のデータテーブル構築を自分たち自身で行えるように取り組むことにしました。 分析運用チ…
テックタッチアドベントカレンダー 13 日目を担当しますデータエンジニアの acchan です。 この間完全個室型のサウナに初めて行ってきまして、贅の極みを堪能してきました。みなさんもこの 1 年間頑張ってきた自分のご褒美にいかがでしょうか。 はじめに Elementaryとは チュートリアルをやってみる 下準備 パッケージのインストールと Elementary の初期設定 Elementary テストの追加 テストの実行とレポートの生成 Slack通知を試してみる さいごに はじめに 弊社では最近、データ分析基盤のモデリング用途として dbt を使い始めました。まだ間もないですが、モデルの共…
こんにちは、Gunosy Tech Lab DR&MLOps チームの楠です。 この記事は Gunosy Advent Calendar 2022 の 11 日目の記事です。 昨日の記事は UT@mocyuto さんの『RailsのフロントをReactへリファクタしたとき、スキーマをOpenAPIベースの自動生成にした話』でした。 この記事では、ELT パイプラインにおける Transformation ツールである dbt の snapshot という機能について紹介した後、snapshot の手法を一般化したディメンションモデリングにおける概念である Slowly Changing Dim…
カヤックSREの池田です。 最近、日本のデータエンジニアリング界隈でのdbt(Data build tool)の活用がじわじわと盛り上がってきています。 dbtはpythonのJinjaテンプレートを利用したSQLの拡張を実現し、ETL処理のT(データ変換)に関して強力な機能を提供してくれます。 dbt自体の詳しい説明などは、インターネット上に増えてきていますのでそちらにおまかせするとして、本記事ではdbtを使い慣れてきた人向けの小ネタを話します。 今回は『ログの集計』を例にincrementalモデルを運用する上での問題とその解決方法を紹介します。 www.getdbt.com まずはじめに…
はじめに こんにちは。22卒アナリティクスエンジニアの井下田(@hiroki_igeta)です。 普段からデータ基盤の整備とDWH開発はもちろん、ダッシュボード作成、広告ロジック改善にも携わっています。 -- 本記事は、Rettyのデータ分析チームが約3ヶ月間取り組んできた「dbtの導入」を中心テーマとした連載 #dbtでデータの民主化 の3記事目です。 dbtの導入背景については連載記事の1つ目、dbt移行のプロジェクト進行については2つ目をそれぞれご参照いただけますと幸いです。 (Rettyではdbt導入のためにプロジェクトを立ち上げ、dbt移行を推進しました。) 連載記事1つ目：データア…
dbtについての覚書 ** 元の記事は、githubに置いてます github.com 確認したバージョン % dbt --version Core: - installed: 1.2.0 - latest: 1.2.0 - Up to date! Plugins: - bigquery: 1.2.0 - Up to date! 1. dbt CLI 1.1. インストール 1.2. ざっくりとした使い方 1.3. フォルダ・ファイルの構成 2. テスト 2.1. dbtのテストパターン 2.2. Generic tests 2.3. Singular tests 1. dbt CLI インス…
ご挨拶 はじめまして。 このブログで初登場となります、データ戦略室のaranです。 今年の2月よりジョインしました。 どうぞよろしくお願いします。 私は、主にデータパイプラインを担当しており (非)構造化データをパースし、データ登録し、データ整形する いわゆるETL / ELT作業を行っており Transform部分に、dbtを採用しています dbtについては、こちらのサイトがよくまとまっています。 詳細はこちらにお任せするとして www.flywheel.jp データウェアハウスに保存されているデータを変換してデータウェアハウスに書き戻す部分で使用するツールになります。 dbtの主な利用方法…
積ん読記事に残っていた dbt の記事が面白かったのでご紹介です。 Pivot 社という会社のアナリティクスエンジニアによる記事で、いくつものプロジェクトで dbt を導入した経験から、dbt を使う上での5つの指針が紹介されています。私は dbt を実際のプロジェクトで導入したことはないのですが、この記事は細かい技術的な点ではなく、dbt をどういった場面で使うべきかという話なので今後も参考になりそうです。 5 Lessons I Have Learned Using dbt erics-arsenault.medium.com 1. Follow the dbt style guide d…
テクノロジー本部の yoshikawa です。 普段の業務では全社データ基盤の開発や技術検証、ビジネスサイドのデータ活用支援を行っています。 本記事では、Google CloudのDataplex(主にData CatalogとData Lineage)を活用したデータマネジメント及びその支援に関する事例を紹介します。 また関連して、データ開発の質とスピードを高めるべくCloud Composerとdbt(dbt Core)を採用し、DWH(データウェアハウス)/DM(データマート)構築基盤を刷新する取り組みについても紹介します。
境界性パーソナリティ障害（BPD）は、感情調節、対人関係、自己イメージ、および行動における広範な不安定さを特徴とする精神疾患です。 BPDの患者は、激しく不安定な感情を経験し、しばしば怒り、不安、抑うつ、空虚感を感じることがあります。また、安定的で健全な人間関係を維持するのに苦労し、他人を理想化したり、切り捨てたりする傾向があるため、不安定で激しい対人関係になることがあります。また、自己同一性に苦しみ、自己意識が歪んでいる場合もあります。 BPDの症状には以下のようなものがあります。 見捨てられることへの恐怖と、現実または想像上の見捨てられ方を避けようとする必死さ頻繁な気分の変動、怒り、抑うつ…
はじめに Steampipe とは何か dbt-steampipe を動かしてみる aws プラグインを使って aws のコストデータを取得する さいごに はじめに たまたま steampipe のサポートプラグインを見たら、結構充実していた。ちょっと調べたら dbt-steampipe プラグインも作られており、これを使ってクラウドサービス関連のデータ収集が dbt 上で管理できれば便利なんじゃないかと思ったので検証してみた。 Steampipe とは何か Steampipe はいろんなクラウドサービスの API をラップして SQL でデータ取得できるインターフェイスを用意してくれる OS…
明日16日(木)テレビ東京 #午後のロードショー は『#ミリオンダラー・ベイビー』（04年/米）主演・監督 #クリント・イーストウッドアカデミー賞４部門受賞🏆孤独なトレーナーと家族の愛に恵まれない女性ボクサーの間に育まれた絆…命をかけて闘った先にあるものとはー午後1時40分放送🥊 pic.twitter.com/a5Or7u2aPC— 午後のロードショー (@tx_gogoro) March 15, 2023 ミリオンダラー・ベイビー (字幕版)クリント・イーストウッドAmazon #BS日テレ #BS日テレ4K 木曜は！#特選時代劇『陰陽師』3/16（木）18:30〜20:54平安時代、最強…
Streamlit のデータ編集機能と、それを利用した Snowflake テーブル編集についての記事の紹介です。最後に Looker と Streamlit を合わせて使っている記事を見つけたので、それも紹介します。 Streamlit data editor Streamlit のプレビュー機能ですが、編集可能なテーブルが先月2023年2月に登場しました。以下の gif は公式ドキュメントのサンプルをキャプチャしたものです。セルをダブルクリックすることで編集モードとなり、値が編集できます。 使うのは簡単で、データフレームなどのデータオブジェクトを st.experimental_data_…
BOE「本日の発表はSVBを銀行破産手続きに移行させるために裁判所に申請することを意図した声明に優先する」「これらの措置によって直接重大な影響を受ける他の英国の銀行はない」「英の広範な銀行システムは引き続き安全健全であり十分な資本がある」— watari@ドル円に養われし者 (@tonawatari) 2023年3月13日 〜やっぱりリーマンとか来なかった〜あたしゃ相場歴長い方ですがみんながクラッシュクラッシュ言うてる時は来ないです。油断した時にやってくるのが何ちゃらショック。昨日変なの沸いてましたがFRBが検討した内容で理論上は米も大丈夫でしょう。https://t.co/uCJVNrvZ8…
先日 草津に行ったのですが、草津のあたりでは花豆が名産品と知りました。そら豆ぐらいの大きさの、大きい豆です。 料理が好きで豆をたまに煮たりもするので、生の花豆を買おうとしたところ、お店の人に「豆は煮たことがあるのか」と聞かれました。「黒豆ならたまに煮ます」と答えると、それでは売れないと言われ、なんと購入させてもらえませんでした。まだまだ修行が足りません。 今日は Snowflake のアップデート情報を見かけたので、そちらを中心にまとめました。 Snowflake の Query Acceleration Snowflake のバーチャルウェアハウスに Query Acceleration の…
これは何? 背景: 権限管理とTerraform 権限管理の対象 誰に権限を付与するのか どのスコープで権限を付与するのか どの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか 例: roles/bigquery.jobUserを付与してみる コラム: どこでTerraformを実行するか Terraformでの権限管理の例 例: データセットの作成 例: データセットに対する権限付与 サービスアカウントの管理 iam_member関連の注意点: AdditiveとAuthorativeを意識する Terra…
前提 SQLを書いているとき、元データが[2,3,5,7]のようなJSONで入ってくることがある。データがJSONで入ってくると色々考慮しないといけないことが増えるので、あんまりぽんぽん出てきて欲しくはない。が、まあ現実には相手をしないといけない場合もある。世界は厳しい...。 元データが[2,3,5,7]であったとき、5または10(この集合の大きさは可変)を含むかといった判定をしないといけない場面に遭遇したが、ぱっとSQLが書けなかったので自分用のメモ書きです。 最終結果 結論としてはこういうクエリを書けばよさそう。 SELECT ARRAY_LENGTH(ARRAY(SELECT stat…
www.manning.com Designing Cloud Data Platformsという本を読みました。 どんな本か 2021年に出版されたデータ基盤の本です 大企業のデータ基盤の設計（コンサル・SIer？）の人が著者です データ基盤を大きく６つのレイヤー（下図）に分割し、それぞれの章で説明しています Data Lake（②）とDatat Warehouse（⑤）を組み合わせた基盤を、この本では「Data Platform」と呼んでいるかと思います（Data Warehouse単体との対比） 書名に「Cloud」とついていますが一般論的な話がメインです。個別のクラウド・プロダクトの話…
書店で心理学・精神医学のコーナーを見て回った。 本のタイトルには様々な療法名が付けられているが、意味と関連がよく分からず、どれが自分に合うのか判断が付かない。（認知行動療法、ACT、マインドフルネス、スキーマ療法、コーピング、アサーションなど） そこで検索＆整理したことをメモしておく。ベースになるのは認知行動療法だと思われる。 参考① 認知行動療法の成り立ちは、以下サイトに簡潔な記載がある。 www.counselorweb.jp 認知行動療法の第三世代とは、行動療法からの流れを第一世代、認知療法からの流れを第二世代として、新たに「文脈」や「機能」に注目して発展した認知行動療法のことを第三世代…
データ指向アプリケーションデザイン 勉強会メモ データ指向 データ表現 データアクセス頻度 読込が頻繁 更新が頻繁（データが 1 か所の場合） B-Tree 発展：Log-Structured Merge (LSM) Tree 分散データ（データが複数個所） 24 時間 365 日稼働するサービス設計 Compute - Storage の分離 (常にデプロイし続けるための設計) 分散トランザクション そもそもトランザクション処理 分散トランザクションの世界 極み：Amazon Aurora (SIGMOD 2018) データの複雑さ 導出データ (derived data) 分散バッチ処理 …
buildup-db.blogspot.com
tech.high-link.co.jp
www.yasuhisay.info
speakerdeck.com
zenn.dev
tech-blog.monotaro.com
nippondanji.blogspot.com
sotaro-tanaka.medium.com
blog.amedama.jp
