データパイプライン

Medium でとても目を惹くタイトルの記事を見つけました。"High-Performance Data Teams Don’t Care About Data Quality", 和訳するなら「ハイパフォーマンスなデータチームは、データ品質を気にかけない」というところでしょうか。 データ品質は DMBOK でも大きな軸の一つになっていて、色んな文脈でデータ品質は重要だという話がされています。それにも関わらず、データ品質を気にかけないデータチームとはどんなチームなんでしょうか。 High-Performance Data Teams Don’t Care About Data Quality …

はじめに 実施概要 事前準備 実施手順 1.リンクサービスの作成 Blobリンクサービス SQLリンクサービス データセットの作成 Blobデータセット SQLデータセット パイプラインの作成 検証と発行 パイプラインの実行と確認 おわりに はじめに 業務でAzure Data Factoryに触れる機会があったので、学んだ内容を整理するために簡単なデータコピー処理の実装方法をまとめてみました。 実施概要 本記事では、Azure Data Factoryを使用してAzure Blob StorageからAzure SQL DatabaseへCSVファイルをコピーする処理の実装をします。 Azu…

p.line { border-bottom: 2px solid black; font-size:25px; } .boxoutline { padding: 0.5em 1em; margin: 2em 0; border: dashed 2px #d3d3d3;/*点線*/ } .boxoutline p { margin: 0; padding: 0; } .boxself { padding: 0.5em 1em; margin: 2em 0; color: #2c2c2f; background: #fff0f5;/*背景色*/ } .boxself p { margin: 0;…

はじめに GLB事業部の阿部です。 Databricks Lakehouse Platformの基本的な機能について解説します。 Databricksではコードの実行にはノートブックを使用しますが、その前に前準備としてクラスターを作成する必要があります。 本記事では、クラスターの作成からノートブックの作成、そしてコードを実行するまでの手順について解説します。 ※Databricksのワークスペースを作成した前提で書いておりますので、 作成方法について知りたい方は以下の記事を参考にしていただければと思います。 Databricks on AWSのセットアップとワークスペースの作成 目次 日本語U…

Building Data Engineering Pipelines with Snowpark for Python medium.com Snowpark で実現するデータパイプライン処理に関するチュートリアルが公開されており、そのチュートリアルに関する概説です。 去年 SnowPro Core の試験を受けた時には全く出題されませんでしたが、Snowpark は Python, Java, Scala などのプログラミング言語を通じて Snowflake と連携ができる機能や、そのクライアントライブラリを指すようです。DataFrame に対するプログラムが、ライブラリ内にて Snow…

1. 背景 データフローパイプラインとモデルの実験管理を行えるようなMLOpsパイプラインを作成したいと思い、調べているとKedro+MLflowでできることがわかりました。実際にKedroとMLFlowを使ってパイプラインを作って実験管理をしてみたので共有します。 2. Kedro Kedroとは？ Kedroは、Pythonでのデータパイプライン開発を容易にするために設計されたオープンソースのフレームワークです。Kedroを使用することで、データサイエンティストやエンジニアは、高品質のデータパイプラインを迅速に構築できます。 Kedroの特徴 データセットの抽象化：Kedroは、さまざまな…

株式会社MonotaRO データ基盤グループの小谷です。データ基盤グループでは、データに基づく意思決定や業務改善を通したビジネスの拡大を支援するため社内のデータ利活用サイクルを加速させるような取り組みを行っています。 この度は、当社での未来のデータ管理体制について、チームトポロジーの考え方を用いて整理してみましたので紹介したいと思います。 この記事は先日開催されたdatatech-jp Casual Talksで登壇した内容についてまとめ紹介したものとなります。登壇の際に使用した資料の方も以下に記載いたしますのでよろしければご覧ください。 datatech-jp Casual Talks #5…

KADOKAWA Connected / ドワンゴの @saka1 です。最近はデータ基盤の保守等に携わっています。 今回はStreamlitというWebアプリケーションフレームワークを使い、Snowflake上のテーブルの利用状況を測定するダッシュボードを作ってみました。 データの需要はいつの間にか変化している問題 データ活用を進めるためには、データの整備が必要です。無いデータは分析できないので……。一方で、ただデータを基盤上に整備するだけだと、そのデータがどれぐらい有用なのかは判断が難しいです。 整備当初は有用でみんなが見ていた（かもしれない）テーブルも、しばらく経つと人気がなくなっている…

この前ラジオで流れて来た 燃え殻 さんという作家の話し口が心地よかったので、本も読んでみました： すべて忘れてしまうから これはエッセイ集なのですが、不思議と自分の昔の忘れていたことを思い出しました。タイトルにもあるように、人間は日々いろんなことがある傍らでいろんなことを忘れていきます。僕は小学校中学校の友達と話していると、さっぱり記憶にないような話題がたまに出てきて驚きます。昔のことは夢なのか現実なのか、たまに分からなくなることもあります。 この本は文章を読みながら、読んでいない気持ちにもなる不思議な本でした。文章を追いながら気づいたら自分の昔のことを考えていて、花の蜜を吸いながら下校してい…

はじめに 今回のネタ お試しの構成 試したいと思った用途 ファイル構成 サンプル さいごに はじめに データ戦略室のaranです 今回で２回目の登場になります 月日は早いもので、入社して１年が過ぎました 私ごとですが 去年までは出社していたのですが、寒過ぎて朝起きれず 年末から座りっぱなしのリモートワークの日々を過ごし、節々の痛いと闘っています 不健康まっしぐらなので、最近は１時間弱の散歩を日課としています 今回のネタ 今回は、ゆるーいTipsです 最近、Terraformを使う機会が増えてきたこともあり for文の２重ループを試してみました。 ググるとTerraformで２重ループは使えない…

現在利用可能な上位 24 の RPA ツール Top 24 RPA tools available today Feb 3, 2023 2:00 am PST ロボティック プロセス オートメーションは、レガシー システムを完全に再設計する必要なく、面倒な手動タスクを排除することで、ビジネス ワークフローを合理化できます。 現代の職場でさえ、退屈で繰り返しが多い場合があります。 ロボティック プロセス オートメーション (RPA) の導入: AI とローコード オプションを導入してワークフローを簡素化し、全員の時間を節約すると同時に、コストのかかるミスを防ぐセーフガードを追加するスマートなツー…

全般 BigQuery データ取り込み クエリ Routine セッション 外部データソースへのクエリ テーブルスキーマ ネスト（STRUCT）され、且つ繰り返しフィールド（ARRAY）のあるスキーマ 検索インデックス BigQuery BI Engine BigQuery Migration Service BigQuery Data Transfer Service データの暗号化・マスキング BigQuery ML アクセス制御 管理 Cloud SQL インスタンス・構成 管理 アクセス制御 Database Migration Service Cloud Bigtable アーキテク…