Hatena Blog Tags
はてなブログ トップ
pandas
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

pandas

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
学び直しロードマップ•2ヶ月前

Pythonデータ可視化を学ぶ順番｜Matplotlib・Seabornの4週間ロードマップ

PythonやSQLの基礎を学んだ後、「次はグラフを作りたい」と考える人は多い。しかし、ライブラリの書き方だけを覚えると、見た目は整っていても、何を比較し、どの判断へつなげる図なのか分からなくなりやすい。 データ可視化の目的は装飾ではない。比較、推移、関係、分布という問いを、読み手が誤解しにくい形へ変換することである。図の前に、データの型、欠損、重複、単位、集計粒度を確認する必要がある。 結論として、pandasでデータ品質を確認し、MatplotlibでFigureとAxesを理解する。その後、Seabornで分布や関係を探索し、必要になった段階でAltair等へ広げる。4週間の最後に、三つ…

#Python#データ可視化#pandas

関連ブログ

個人エンジニアの小休止メモブログ•3ヶ月前

【Kaggle・競プロ】大量のフラグ列でメモリが爆発！？One-Hotエンコーディングを極限まで軽量化する「Sparse」の魔法（第2回）

はじめに：本記事の背景と目的 Kaggleなどの機械学習コンペでは、データのなかに「性別（male/female）」や「乗船した港（S/C/Q）」といった文字列のデータが必ず含まれています。 しかし、LightGBMやXGBoostなどの機械学習モデルは数字しか理解できないため、これらの文字列を「数字の列（フラグ列）」に変換する必要があります。 そのための最も一般的な手法が、文字列の種類（カテゴリ）ごとに列を新しく作り、該当する場所に 1、それ以外に 0 を割り振る「One-Hotエンコーディング（ワンホット・エンコーディング）」です。 pandasでは pd.get_dummies() を使…

#Python#pandas#Kaggle
個人エンジニアの小休止メモブログ•3ヶ月前

【pandas最終章】実務でそのまま使える！公式「Cookbook」から厳選した即戦力コードレシピ3選（公式ユーザガイド30「Cookbook」より）

はじめに：本記事の背景と目的 pandasの基本的な関数（.sum() や .dropna() など）の使い方は理解できても、実際の業務で「特定の条件に基づいて複雑にデータを加工したい」「SQLの高度なウィンドウ関数のような処理を表データに適用したい」となった瞬間、どの関数をどう組み合わせればいいか分からなくなり、手が止まってしまうことは珍しくありません。 そんな時に開くべき現場のためのカンペ（虎の巻）が、公式ユーザーガイドの第30章「Cookbook（クックブック）」です。 ここには、基礎を学んだエンジニアが実務の泥臭い課題を最短ルートで突破するための「知恵（イディオム）」が凝縮されています…

#Python#pandas
個人エンジニアの小休止メモブログ•3ヶ月前

【pandas総決算】実務のトラブルを即解決！「公式FAQ」から厳選した最頻出エラーと逆引き解決レシピ4選（公式ユーザガイド 29「Frequently Asked Questions (FAQ)」より）

はじめに：本記事の背景と目的 pandasを使ってデータ前処理や分析のコードを書いているとき、誰もが一度は「なぜか思った通りの挙動をしない」「謎のエラーメッセージが出て処理が止まってしまった」という壁にぶつかります。 そんな時にまずチェックすべきなのが、公式ユーザーガイドの第29章「Frequently Asked Questions (FAQ)」です。 ここには、世界中のデータアナリストやエンジニアから寄せられた「もっとも遭遇頻度の高い疑問とトラブル」への公式の回答が凝縮されています。 本記事の目的は、公式の構成を維持しつつ、「現場で特に踏みつけやすい4つの地雷エラー」に絞り、その原因と具体…

#Python#pandas
個人エンジニアの小休止メモブログ•3ヶ月前

【pandas 3.0移行】エラーや速度低下を未然に防ぐ！「新しい文字列データ型（String Dtype）」への刷新と実務での対応ガイド（公式ユーザガイド28「Migration guide for the new string data type (pandas 3.0)より）

はじめに：本記事の背景と目的 2026年現在、多くのデータ分析現場でシステムのアップグレードが進む中、大きなターニングポイントとなっているのが「pandas 3.0」への移行です。このメジャーアップデートにおける最大の変更点の1つが、文字列（テキスト）データの扱い方のドラスティックな刷新です。 従来のpandasでは、文字列データを読み込むと、デフォルトで汎用的な「object 型」として保持されていました。しかし、pandas 3.0からは、内部処理の高速化と安全性のために、専用の「文字列データ型（String Dtype）」へ完全移行することが強く推奨・自動化されています。 公式ドキュメン…

#Python#pandas#pandas3.0#PyArrow
個人エンジニアの小休止メモブログ•3ヶ月前

【pandas省メモリ】大半が「0」や「空欄」の巨大データを極限まで軽量化する「疎データ構造（Sparse）」の仕組みと実務レシピ（公式ユーザガイド27「Sparse data structures」より）

はじめに：本記事の背景と目的 データ分析の実務、特に機械学習の特徴量エンジニアリング（One-Hotエンコーディングなど）や、ユーザーと商品の「購入・評価ログ（レコメンド用行列）」を扱っていると、「表のほとんどのマス目が『0』や『NaN』で埋め尽くされているデータ」に遭遇することがあります。 このようなデータを「 疎（スパース）データ 」と呼びます。 これらを通常のデータフレームのまま保持していると、pandasは「中身が何もないマス目（0やNaN）」に対しても律儀にメモリをフルで割り当てるため、データが巨大化するにつれてあっという間にメモリ不足（MemoryError）を引き起こします。 公…

#Python#pandas#疎データ#スパース行列
個人エンジニアの小休止メモブログ•3ヶ月前

【pandas限界突破】メモリ不足（OOM）を撃退！大規模データをサクサクさばくスケールアップ戦略（公式ユーザガイド 26「Scaling to large datasets」より）

はじめに：本記事の背景と目的 データエンジニアリングや機械学習の実務において、扱うデータサイズが数ギガバイト、数十ギガバイトと巨大化してくると、ある日突然、プログラムが MemoryError（Out of Memory） を起こして強制終了するようになります。 pandasは非常に高速ですが、原則として「すべてのデータをPCのメモリ（RAM）の上に丸ごと展開して処理する」という設計（インメモリ処理）になっているため、PCのスペック以上のビッグデータをそのまま読み込むことはできません。 公式ドキュメントの最終章「Scaling to large datasets」には、このメモリの壁を壊し、大…

#Python#pandas#ビックデータ#メモリ節約
個人エンジニアの小休止メモブログ•3ヶ月前

【pandas高速化】数百万行も一瞬で処理！「Enhancing performance」の基本と実務で差がつく爆速化レシピ3選（公式ユーザガイド25「Enhancing performance」より）

はじめに：本記事の背景と目的 pandasは非常に便利で強力なライブラリですが、扱うデータ量が数万行、数十万行、数百万行と増えていくにつれて、データ前処理のコードを実行したまま「画面がフリーズして何分も返ってこない」というパフォーマンスの壁に直面することがあります。 実は、pandasは内部でC言語や高度な並列計算アルゴリズムを使って最適化されているため、「書き方（アルゴリズムの選び方）」を少し工夫するだけで、処理速度を数百倍〜数千倍へと劇的に爆速化させることができます。 公式ドキュメントの第25章「Enhancing performance」には、このパフォーマンスを極限まで引き出すための手…

#Python#pandas#高速化#パフォーマンス向上
個人エンジニアの小休止メモブログ•3ヶ月前

【pandas時短】データの省略表示（...）を撃退！開発効率を爆上げする「グローバルオプション設定」の基本と必須レシピ3選（公式公式ユーザガイド 24「Options and settings」より）

はじめに：本記事の背景と目的 Jupyter Notebookなどでpandasを使って大量のデータを表示させたとき、重要な列や行が途中で ... と省略されてしまい、データの中身を確認できずにイライラした経験はありませんか？ また、売上などの大きな金額を表示した際、指数表記（1.5e+06 など）になってしまい、直感的にいくらなのか読み取れなくなったことはないでしょうか。 これらはすべて、pandasが内部で持っている表示制限の設定（デフォルト値）が原因です。 公式ドキュメントの第24章「Options and settings」には、これらpandas全体の挙動や表示スタイルを自由自在にコ…

#Python#pandas#オプション#設定
個人エンジニアの小休止メモブログ•3ヶ月前

【pandas基本】データの期間・経過日数を自在に操る「Timedelta（時間差）」の計算と実務レシピ（公式ユーザガイド 23「Time deltas」より）

はじめに：本記事の背景と目的 データ分析の実務では、「あるユーザーが会員登録してから、最初に商品を購入するまでに『何日』かかったか」「マシンのアラートが発生してから、復旧するまでに『何時間何分』を要したか」といった、2つの日時の「間隔（リードタイム）」を計算したい場面が数多く存在します。 pandasで日時の引き算を行った際、あるいは特定の時間幅（「3日間」など）を定義した際に登場するのが、公式ドキュメント第23章に記載されている Timedelta（時間差）型です。 本記事の目的は、公式の正確な構成を維持しつつ、「現場のエンジニアが経過日数や経過時間をどのように抽出し、分析用データとして整形…

#Python#pandas#データ分析#timedelta