DBT: Dealectical Behavior Therapy →弁証法的行動療法
Rettyのデータ分析チーム アナリティクスエンジニアの井下田(@Hiroki Igeta)です。 この記事はRetty Advent Calendar 2022 の24日目の記事です。 ※Part1 と Part2 の2つがあります！！ はじめに dbtを使ってUDFを作成するメリット 1. macrosディレクトリ配下に作成したいUDFを定義する 2. BigQueryにUDFを作成する 2-1. macro を実行するための設定 2-2. macroを実行する 3. macrosディレクトリ配下に作成後のUDFを呼び出すファイルを作成する 4. modelディレクトリ配下のファイルで作成…
テックタッチアドベントカレンダー15 日目担当の teru です。今年の個人的ベスト家電はスマートフォンで見れるネットワークカメラでした。子ども達が寝室で寝ている様子を確認しながら家事ができるのでとても便利です。 きっかけ 輪読会の準備 輪読会の実施 やってみてどうだったか 良かった点 気になった点 終わりに きっかけ 13 日目の記事 でも触れているように、弊社でデータ分析基盤のモデリング用途に dbt の利用が始まりました。私の所属する分析運用チームでもこの流れに乗って、dbt を使って分析業務に関わる範囲のデータテーブル構築を自分たち自身で行えるように取り組むことにしました。 分析運用チ…
テックタッチアドベントカレンダー 13 日目を担当しますデータエンジニアの acchan です。 この間完全個室型のサウナに初めて行ってきまして、贅の極みを堪能してきました。みなさんもこの 1 年間頑張ってきた自分のご褒美にいかがでしょうか。 はじめに Elementaryとは チュートリアルをやってみる 下準備 パッケージのインストールと Elementary の初期設定 Elementary テストの追加 テストの実行とレポートの生成 Slack通知を試してみる さいごに はじめに 弊社では最近、データ分析基盤のモデリング用途として dbt を使い始めました。まだ間もないですが、モデルの共…
こんにちは、Gunosy Tech Lab DR&MLOps チームの楠です。 この記事は Gunosy Advent Calendar 2022 の 11 日目の記事です。 昨日の記事は UT@mocyuto さんの『RailsのフロントをReactへリファクタしたとき、スキーマをOpenAPIベースの自動生成にした話』でした。 この記事では、ELT パイプラインにおける Transformation ツールである dbt の snapshot という機能について紹介した後、snapshot の手法を一般化したディメンションモデリングにおける概念である Slowly Changing Dim…
カヤックSREの池田です。 最近、日本のデータエンジニアリング界隈でのdbt(Data build tool)の活用がじわじわと盛り上がってきています。 dbtはpythonのJinjaテンプレートを利用したSQLの拡張を実現し、ETL処理のT(データ変換)に関して強力な機能を提供してくれます。 dbt自体の詳しい説明などは、インターネット上に増えてきていますのでそちらにおまかせするとして、本記事ではdbtを使い慣れてきた人向けの小ネタを話します。 今回は『ログの集計』を例にincrementalモデルを運用する上での問題とその解決方法を紹介します。 www.getdbt.com まずはじめに…
はじめに こんにちは。22卒アナリティクスエンジニアの井下田(@hiroki_igeta)です。 普段からデータ基盤の整備とDWH開発はもちろん、ダッシュボード作成、広告ロジック改善にも携わっています。 -- 本記事は、Rettyのデータ分析チームが約3ヶ月間取り組んできた「dbtの導入」を中心テーマとした連載 #dbtでデータの民主化 の3記事目です。 dbtの導入背景については連載記事の1つ目、dbt移行のプロジェクト進行については2つ目をそれぞれご参照いただけますと幸いです。 (Rettyではdbt導入のためにプロジェクトを立ち上げ、dbt移行を推進しました。) 連載記事1つ目：データア…
dbtについての覚書 ** 元の記事は、githubに置いてます github.com 確認したバージョン % dbt --version Core: - installed: 1.2.0 - latest: 1.2.0 - Up to date! Plugins: - bigquery: 1.2.0 - Up to date! 1. dbt CLI 1.1. インストール 1.2. ざっくりとした使い方 1.3. フォルダ・ファイルの構成 2. テスト 2.1. dbtのテストパターン 2.2. Generic tests 2.3. Singular tests 1. dbt CLI インス…
ご挨拶 はじめまして。 このブログで初登場となります、データ戦略室のaranです。 今年の2月よりジョインしました。 どうぞよろしくお願いします。 私は、主にデータパイプラインを担当しており (非)構造化データをパースし、データ登録し、データ整形する いわゆるETL / ELT作業を行っており Transform部分に、dbtを採用しています dbtについては、こちらのサイトがよくまとまっています。 詳細はこちらにお任せするとして www.flywheel.jp データウェアハウスに保存されているデータを変換してデータウェアハウスに書き戻す部分で使用するツールになります。 dbtの主な利用方法…
前回の記事 dbtのベストプラクティスを知る① - なむなむ 今回は、最後の2章からPro-tipsを学ぶぞ。 Pro-tips for workflows Use the model selection syntax when running locally 開発中、作業中のモデルと下流のモデルのみ実行するのが良いことがある モデル選択構文を使用する Run only modified models to test changes ("slim CI") 自信をもってコード変更をマージするには、それによりプロジェクトの他の場所が壊れないか知っておく必要がある そのために、本番データとは別のサ…
ベストプラクティスから読んで始めるdbt という記事が、とても素晴らしいなと。 しっかり公式のdocsを読む 自分なりの感想（得られた事項）を持つ わからないこともメモしておく 同じようにやってみよう。 馬鹿みたいだけど、同じ記事で。 （ついでに英語のリーディングも頑張ろう） docs.getdbt.com Best practices ベストプラクティスを見ておくことで、可能な限り効率的になる プロのTipsを実装すればdbtプロジェクトが洗練される Best practice workflows Version control your dbt project dbtプロジェクトはヴァージ…
SNOWFLAKEのテーブルタイプ一覧 反復的なサブクエリへTEMPORARYテーブルを使用する 一時テーブルとして、TRANSIENTを使用する 備考 SNOWFLAKEのテーブルタイプ一覧 Snowflakeには、次の4つのテーブルタイプが存在する。 PERMANENT 削除されるまで持続する デフォルトのデータタイプとして指定される TEMPORARY セッション内でのみデータを保持する。 一時的なデータに使用されることが多い。 TRANSIENT 削除されるまで待機する 複数のユーザーで使用される 存続する必要はあるが、PERMANENTと同じレベルのデータの保持を必要としない場合に有…
（IAEAグロッシー事務局長自身のツイッターより） （IAEAグロッシー事務局長と青山議員） みなさんこんにちは、中今〇ノ丞です。 当ブログにてたびたび取り上げております、青山繁晴参議院議員のYOU TUBE 動画をご紹介いたします。 日々テレビなどで報道されるウクライナ情勢は、実際に世界各国の重要人物 と直接意見を交わし、情報交換している青山議員から語られる生の声に比べる と、その広さや深さが全然違います。 海外各国の重要人物との信頼関係を構築している青山議員が得る情報は、 日本のテレビに出演しているコメンテーターやタレント、学者や評論家 たちが発する情報とは当然雲泥の差となってしまいます。…
データ分析基盤グループでデータエンジニアをしている平川です。 近年注目されてきているDataVaultに関して、全3回(予定)で記事を書かせていただく予定です。 第1回の記事では、DataVaultとは何なのか？どんな特徴があるのかを書いていきます。 参考までに、1~3回の内容を紹介しておきます。(内容は変わる可能性が大いにありますのでお許しください🙇♂️) 第1回: DataVaultってなに？どんな特徴があるの？ ← 今回はここ 第2回: dbtvaultを使って実際にDataVaultモデリングでテーブルを作ってみた 第3回: BusinessVaultの使い所や特徴的なSatelli…
はじめに こんにちは。株式会社High Link データエンジニアの谷口祐太郎(@ytaniguchi811)です。 私たちのチームは全社的にデータの利活用を推進できるよう、分析基盤の開発に日々取り組んでいます。 Data WarehouseとしてはBigQueryを採用しており、分析用のテーブルはdbtとGitHubを連携させてコードで管理しています。 dbtを用いることで分析テーブルをコード管理できるようになり、私たちのような小規模チームでも管理・運用が非常に楽になりました。詳しくは本テックブログの別記事で説明していますので、よろしければご参照ください。 tech.high-link.co…
【#FF14】今週もゆっくり3個ずつ～😘 pic.twitter.com/wVlyDQyd7o— kirara_game🐰幻想中🐰☽FF14Chocobo鯖🐣 (@kirara_game) 2023年1月18日 【#FF14】ギャザクラの新式を作るために砂を集めてたら、普段と違うメッセージが出た…( ・ω・)ﾓﾆｭ?(漁師ほとんど触ってないのでワカッテナイヒトデス)気配??調べたらどうやら条件付きでGET出来る子いる模様。ほーほー。なので仕留めてオキマシタ。手帳が埋まったぞ～🥰 pic.twitter.com/DwOwmD1DbT— kirara_game🐰幻想中🐰☽FF14Chocobo鯖🐣…
#仕事 最近は仕事が面白いので長めにやっている。 相変わらずdbtでpythonを書いたりairflowを書いたりしてた。 集中して仕事ができるのは気持ち良い。 ていうか集中するのが気持ちいい。 ---#雑記 今日強いストレスを定期的に与えることで日常のストレスを和らげるという筋トレと同じ理論を持って筋トレ時に自分をめちゃくちゃ追い込んでみた。 肉体的にも精神的にも追い込まれて解放された時の幸福感がすごかった。 多分サウナも最初はこんな感じだったんだろうけど、筋トレと同じようにきついなと思ったらやめてた。 そこからめっちゃ頑張ることで幸福感がすごいし日常のストレスも和らいでいるので一石二鳥だな…
はじめに あけましておめでとうございます！ クラシルバックエンドエンジニアの加藤です。 クラシルでは2022年4月から一部ユーザーに向けてパーソナライズされたフィードをリリースしました。 （以降、パーソナライズフィード） パーソナライズフィードではSnowflakeを活用してレコメンドをReverse ETLを行い実現しました。 今回はアーキテクチャの説明と課題・今後の展望について紹介します。 パーソナライズフィードについて ホーム画面に表示される一連のコンテンツのことを指します。 クラシルではこれまで複数のキュレーションされたコンテンツをまとめたリスト(画像左)を表示していましたが一部ユーザ…
#仕事 今日は久しぶりに出社した。 dbtを触っていたんだが、頭ではわかっていても最初に少し動かすってところができなくてつまづいてた。 やっぱり何がなんだか分からなくても動かした方が良いんだなと学んだ。 毎回これやってる気がするけど。 ---#雑記 今日はなんだか女の子を意識する日だった。やっぱり俺ってモテるのかな？ 俺だけやたらメッセージ送ってくる女の子いるけど、まぁ脈アリなのかな。知らんけど。 流石にそれだけだったら違う気もするけど。 変に意識するのはやめておこう。 悪い癖だと思う。 ---#良かったこと、気をつけること、褒めること 良かったのはやっぱり開発が楽しいなと思えること。 今の職…
2022年もお疲れ様でした(書き終わってたけど、出すのを忘れていた)。去年はこちら。 例によって長いけど、主に読み返すのは自分なので特に気にせず書き殴っておきます。 MonotaROから10Xに転職 MonotaROでの仕事 10Xへの転職 副業の話 コミュニティ方面 技術方面 健康方面 MonotaROから10Xに転職 MonotaROでの仕事 MonotaROでのデータ基盤グループの仕事は楽しかったし、やりがいも大きかったです。課題はまだまだ山積みではあるといえ、あれだけデータを活用する人がいる状況で、データマネジメントについて考えたりあれこれ手を動かしてという経験は自分にとってはかけがい…
仕事 前職の BrainPad を退職したのが2021年の11月末。12月からは Ubie で働き始め、あっという間に一年が過ぎてしまった。 Ubie は、周りに若くて活発に人が多く、毎日刺激を受けながら過ごしています。 Ubie では、初め機械学習エンジニアとしてアルゴリズムの改善に関わっていましたが、6月頃からは分析・BI寄りの仕事をするようになりました。 一番使っている技術は BiqQuery / dbt。前職では実は SQL で分析のコードを書いたことはほとんどなく、 SQL に触れたこと自体も実は 5 年ぶりくらいだったので、初めは戸惑いましたが、自分自身では書かないもののDSのコー…
さて、2023年という新しい年を迎えました。昨年は皆様に大変お世話になりました。2023年は更にパワーアップしていろいろとやっていきたいと思います。 まずは、イベント出店参加第一弾！！「キボシ帝国」さんとコラボ出店です。 ◇イベント概要 名 称 ：EXOTIC REPTILE EXPO 東京浜松町 場 所 ：東京都立産業貿易センター浜松町館５階 日 時 ：2023年1月8日（日）10:00～17:00 出店名 ：爬虫類・両生類オフ会 WITH キボシ帝国 出品生体：ミズガメ各種 ◇出品生体（価格は・・、新年特別プライスかも？） ・トウブハコガメ 2022CB、成体雄 ・ミツユビハコガメ 202…
年の瀬に焦って書き初めて全然間に合わないってやつをやってます。 とりあえず出して細かいところはTBW 3行まとめ 仕事も遊びも一番充実してたかも 昇格した ライブめっちゃ行った 仕事 7月の査定で技術力評価会などの結果E3というグレードに昇格することができ、ある種社内のエンジニアの模範になるべきだったり、自分が破壊的な仕事が出来るのは当然でチームや社内外へいい影響を与えていかなければならない立場になった。正直まだ全然うまく出来ている気はしないが、自分はやっぱりある程度プレッシャーがある環境下でないと高パフォーマンスが出ないなというタイプなので、そういう意味ではよかったと思ってやっていくしかない…
人と話をする時間が増えた年だった。 そのおかげで読書の時間は少し減ってしまったが得るものはたくさんあったので良かった。 人と話をして意見を述べれるようになったり論破されないようになったりともう少し考えながら話をできるように努力しよ。 べんきょうかい データ周りの勉強会にいくつか参加することができた。 ただし流し見になってしまっているのであまり詳しく覚えれてない。集中できてなくて良くないな。 風音屋TechTalk #1 メタデータ入門 2022年、dbt で作るデータ基盤の現場の話 風音屋TechTalk #2 『処方箋』著者がBigQueryとSnowflakeを徹底比較 ほん 小説をまとめ…
今年も終わります。毎年のまとめに続きに今年も振り返ってみます。 今年は転職して約1年めちゃくちゃ濃かった・長男&次男のできること増えた・趣味時間が増えたことのが印象的だった。 2021年はこちら 習慣とか ワーク管理 アウトプット 英語 モノ コカ・コーラ ゼロ 350ml缶×24本 Z会グレードアップドリル 観葉植物 Echo Buds 1本満足バー ベイクドチーズ メディアやアプリ dマガジン解約 マネフォ有料化 長男 映画 まんがやアニメ 2023年に向けて 2021年はこちら gingi99.hatenablog.com 習慣とか ワーク管理 Dropbox Paper からの Not…
令和四年十二月三十一日 - 2022年12月31日(土) 国内 山形で土砂崩れ2人死亡 同窓会で殺人 再婚相手の息子殺害 東京メトロ大晦日終夜運転全廃 国際 朝日新聞カメラマンキーウで負傷 芸能・エンタメ 平岡祐太結婚 渡辺謙ケイダッシュ退社 オジンオズボーン解散 山本彩事務所退所 Aimer結婚 堺雅人が事務所独立 スポーツ 西田有志と古賀紗理那が結婚 訃報・おくやみ ベネディクト16世さん 95歳 今日は何の日 令和四年十二月三十一日 - 2022年12月31日(土) 友引 令和1293日目 令和186週目 令和44ヶ月目 国内 山形で土砂崩れ2人死亡 山形県鶴岡市で土砂崩れがあり、10棟…
buildup-db.blogspot.com
tech.high-link.co.jp
www.yasuhisay.info
speakerdeck.com
zenn.dev
nippondanji.blogspot.com
sotaro-tanaka.medium.com
blog.amedama.jp
dev.classmethod.jp
