データ前処理

Pythonの勉強を続けています🐍 今回は👉 無駄なデータの削除 を学びました。 実際のデータって👇 👉 重複👉 空欄👉 使わない列 かなり混ざっています。 ■ なぜ危険？ 無駄なデータがあると👇 👉 分析ミス👉 処理が重い👉 結果がズレる 👉 まず整理が重要 ■ 例（CSVデータ） 名前,年齢,売上Taro,20,1000Taro,20,1000Jiro,,2000Hanako,30,3000 👉 重複👉 空欄 がある ■ pandasで読み込み import pandas as pddf = pd.read_csv("data.csv")print(df) ■ 重複削除 df = df.d…

表示形式と実データを一致させる Excelで表を作成する際、見た目を良くするために「表示形式」を活用している読者も多いのではないだろうか。たとえば、小数点以下を非表示にして整数に見せたりする便利な機能だ。 しかし、AIにデータを読み込ませる際には、この機能が思わぬ落とし穴になることがある。なぜなら、AIが読み取るのは画面に見えている数値ではなく、セルに保持されている「実際のデータ（実データ）」だからだ。 たとえば、セルに「10.4」と入力し、表示形式で小数点以下を非表示にして画面上は「10」と見せていたとする。このデータをAIに分析させると、AIは「10」ではなく「10.4」として計算してしま…

不必要なシートは削除する Excelで作業をしていると、本番用のデータのほかに、ちょっとしたメモ書きや、計算式を試すためのテスト用シートなどを同じブック内に作ってしまう読者も多いのではないだろうか。 人間が扱う分にはシート名で判断できるため問題ないが、AIにそのままファイルを読み込ませると、どれが分析すべき本当のデータなのか判断に迷ってしまう。それがノイズとなり、思ったような結果が出ない原因になるのだ。 AIにデータを正しく読み取らせるためには、ファイルの中身をできるだけシンプルに保つことが鉄則である。AIに渡すためのファイルを用意する際は、データ分析に直接関係のない不要なシートは思い切って削…

技術評論社の『改訂新版 前処理大全 SQL / pandas / Polars 実践テクニック』を読了しました。著者は本橋智光さんと橋本秀太郎さん。本書は、データを整然と扱うための「前処理」の実践テクニックを体系的に解説しており、個人の経験と照らし合わせながら、学びを深めることができました。 前処理の 2 大カテゴリ 生のデータは美しくない パフォーマンスを意識したコード設計 言語論争への距離感も好き 前処理の 2 大カテゴリ 書籍では、前処理を以下の2軸で整理しています： データ構造を対象とする前処理：抽出、集約、結合、分割、整形など データ内容を対象とする前処理：数値、カテゴリ、日時、文字…