データクレンジング

値と書式を一致させる AIは、人間が視覚的に判断するようなセルの色や太字といった「見た目の装飾」ではなく、セルに入力されている「値そのもの」を読み取っている。そのため、人間向けのレイアウト以上に、書式設定には細心の注意を払わなければならない。 ここでの鉄則は、値と書式を完全に一致させることだ。数値として計算や分析に用いたいデータは、セルの書式設定を「標準」または「数値」に設定する。一方で、氏名や住所、あるいは計算の対象としないコード類などは「文字列」として扱うのが正しい設定である。 例えば、数値のセルに「100個」のように単位を直接書き込んでしまうと、AIはそれを数値として認識できず、正確な結…

表以外の情報を入れない 人間向けの資料であれば、表のすぐ上に「作成者名」や「ファイル名」、あるいは余白に「備考」などのテキストや図形を置くのは親切な行為といえる。 しかし、AIは人間のように曖昧な文脈から情報の意味を読み取るのが苦手だ 。表の上下左右にこうしたデータ以外のノイズが混じっていると、AIがデータの塊を正しく認識できず、分析エラーを引き起こす原因になる。 AIに好かれるデータを作るなら、シート内には純粋なデータテーブルのみを配置し、余計な情報は一切排除するのが理想だ。最初は少し不便に感じるかもしれないが、このお作法を守るだけで、AIによる自動化の精度は劇的に向上する 。 将来の自分や…

AIがデータを正確に読み取るためには、一貫性のあるきれいなデータが必要となる。AIは、データの中にぽっかりと空いた「空白セル」を人間のように「ああ、ここはまだ入力されていないんだな」と理解することが難しい場合がある。 そのため、AIに好かれるデータを作るには、欠損値や不明なデータには、空白のままにせず、特定の記号（例：NA、0、NULL、-）を入力して意図的に区別することが重要だ。 たとえば、アンケートの未回答や、取得できなかったデータに「NA」（Not Applicable）や「-」といった記号を意図的に入力する。これにより、AIは「これは情報がないデータである」と明確に認識し、データ分析の…

表記の揺らぎ 人間であれば文脈から同じものだと判断できる表記の違いも、AIは厳密に区別してしまう。この「表記の揺らぎ」は、AIがデータを誤って解釈する大きな原因となるのだ。 例えば、AIは「（株）Ａ社」と「株式会社A社」を、全く別の会社として認識してしまう。そのため、同一の会社に関するデータを集計・分析しようとしても、表記が統一されていなければ正確な結果を得ることはできない。 これは会社名に限った話ではない。人の名前、商品名など、データとして扱うすべての固有名詞に当てはまる。具体的には、カタカナや数字における全角と半角の混在、「商品 A」と「商品A」のようなスペースの有無、「(株)」と「株式会…

はじめに 皆さんは大量のデータの整形をおこなうとき、どのようなツールを利用しているでしょうか？今の時代は生成 AI？データが社外秘の情報を含んているため手作業でやることがあるかもしれません。しかし、整形の作業に 2，3 時間かかるうえにその作業が週次であるなんてことないでしょうか。それはもはや Excel 奴隷といっても過言ではありません。古代エジプトにてピラミッドを建てるために石を運ぶ奴隷と何ら変わらないのではないかと私は考えてます（もちろん重要な任務であり大切なことであることもあります）。そんな現実に直面したときに私は Python または Powershell を使ってデータの整形を済ま…

はじめに 集計表 データクレンジング クロス集計表（横持ちデータ）をリスト形式（縦持ちデータ）へ変換 サイトご利用方法 はじめに 以前、Excelとパワークエリを用いたデータの作成方法の流れのなかでデータクレンジングとリスト形式（縦持ちデータ）に軽く触れた。 今回は集計表及びクロス集計表の例をあげて、データクレンジングとリスト形式（縦持ちデータ）の変換に特化してデータ作成方法を解説する。 集計表 クロス集計表 汚れたデータ エクセルの表としては、大変結構なものであるが、経営ダッシュボードの作成（含むPowerBi）、ピボットテーブルの作成には使えないデータである。理由は3つ。 ①表題にAlt＋…

はじめに はじめまして、ビッグデータ推進課のkitax1929です。 データ分析というとグラフなどイメージが強いと思いますが、前作業の一つである「データクレンジング」を紹介します。 データクレンジングって何？ cleanse=洗う、清潔にする つまり、データを綺麗にする作業のことです。 綺麗でないデータが何かというと、誤字脱字やフォーマットの違い、データが欠損してしまっているなどの理由によって、分析に支障をきたすデータです。 分析に使用するデータからそれらのデータを修正や削除することで、システムで利用するために適した形にする必要があります。 データクレンジングの一例 ※実例を簡略化したものです…