データ品質

データ品質モデル ISO/IEC 25012(JIS X 25012:2013)で定義 品質属性 以下の2つの品質属性を定義している。 １．固有データ品質 データそのものの性質に関する品質 ２．システム依存データ品質 データがシステム内でどのように扱われるかに依存する品質 品質特性 以下の15の品質特性を定義している。 各品質特性は、品質属性をいずれか、もしくは両方を有する。 15の品質特性 1. 正確性 [Accuracy] 郵便番号が7桁であるなどルールに従っているかどうか(構文精度) その人の情報が正しい情報かなど正しい値であるかどうか(意味精度) 2. 完全性 [Completenes…

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 データパイプラインの信頼性は、データドリブンな意思決定やAIモデルの精度を支える根幹です。しかし、データの品質をいかに担保するかは、多くのデータエンジニアにとって悩みの種ではないでしょうか。 本記事では、DatabricksのSr. Resident Solutions ArchitectであるMarcin Wojtyczka氏とNeha Milak氏による講演「Ele…

管理すべきメタデータ メタデータはビジネスメタデータ、テクニカルメタデータ、オペレーションメタデータの3種類に分けられる。 具体的には次のようなデータがある。 ビジネスメタデータ テーブルのオーナー テーブルのパーティションに使用されるカラム カラムのデータ型 カラムのデータに重複を含むか（IDが重複しているか） テクニカルメタデータ データの抽出条件 元となったテーブルやファイル テーブルのロケーション テーブルの更新予定時間 オペレーショナルメタデータ テーブルのステータス テーブルの生成処理が正常に完了しているか テーブルの更新日時 メタデータの更新日時 データ品質のテスト ゼロコントロ…

はじめに データ品質管理について データ品質を良くするために考える事 データ品質の測定 データ品質を意識すると幸せになる データの放置はデータを劣化させる さいごに Salesforceで頑張りたいあなたへおすすめの本 関連記事 はじめに 近年、生成AIをはじめ、様々な分野でデータドリブンなビジネス展開をする上で、データに関する重要性は増してきていますね！そのため、人間もコンピュータも分析をするさいには、使用するデータが正しく扱えるかが重要となります。※いつの時代もそうだとは思いつつ、、、 そこで、いわゆる”データ品質管理”という施策をどれだけガチンコで取り組む必要があります。 今回はそういっ…

はじめに こんにちは。 株式会社FLINTERS に出向中のおのきです。 この記事は 10 周年記念として 133 日間ブログを書き続けるチャレンジの 64 日目の記事です。 2 回目の投稿となりますが、現在データエンジニアとして広告データのデータウェアハウス(DWH)構築を行なっており、 そこでのデータ品質の導入までについて書いてみようと思います。 経緯と要件と検討結果 現在構築中のDWHは、DMBOKを参考にデータマネジメントに取り組みながらDWH構築を進めています。 その中で、メタデータの管理やデータアーキテクチャをGitHub(ソースコード)であったり、Google Cloudのサービ…

functional dependencies(FDs)とは、データの列同士の関係において、ある列の組み合わせXがあった場合、別の列Aの値を一意に決定できることを言います。(X -> A) 例えば、「郵便番号」列があった場合、「住所」列の値が一意に決定できる場合、FDsであると言います。 これは、データ品質のうち、データセット内の「一貫性」の指標として利用されます。 例えば、「郵便番号」列の値1つにつき、「住所」列の値が2つ以上あれば、FDsについて逸脱があり、データの一貫性がないと判断されます。 opencleanというライブラリでは「fd_violation」という関数があり、FDsの逸脱…

前回は、データ品質の例として、「完全性」を取り上げました。 ecetio.hatenablog.com 「データ品質管理ガイドブック」[1]では、ISO25012を参考に、15の指標が記載されています。DMBOKやデータ品質管理ガイドブックでは、一応指標の定量的な計算について記載がありますが、形式的な計算が多く、データの実態を反映するのは容易ではありません。 このような中で、どのようにデータ品質を定量的に計算できるかを考えてみます。 多くの指標は定性的観点を反映していますが、定量的に把握できうる指標としては次のようなものがあります。 正確性（Accuracy）データの基本は正確であることです。…