Comma Separated Value の略。
主に表計算ソフト間の互換フォーマットとして用いられる。「カンマでカラムが区切られ、改行で行が区切られる」という漠然としたルールで明確なフォーマットの仕様や標準は存在しなかったが、2005年10月にCSVの仕様について書かれたRFC 4180が公開された。
また、タブ区切りなどもCSVに含める場合がある。これは "Character-Separated Values" の略である。
バージョン管理システムのCVSと間違いやすい。
Python の Pandas で、CSVの読み込み時にエンコーディングを指定する方法を書いていきます。 CSV 今回は、以下のCSVを使用します。 日付,基準価額,分配金 2026-03-05,12923,250 2026-03-06,13015,0 エンコーディングは Shift_JIS(≒ CP932, Windows-31J)です。 コード例 pd.read_csv の encoding で文字コードを指定します。 import pandas as pd def main(): # CSV読み込み(エンコーディング指定) df = pd.read_csv( "fund-cp932.cs…
Python の Pandas で、CSVの読み込み時に先頭行をスキップする方法を書いていきます。 CSV 今回は、以下のCSVを使用します。 Sample Fund Daily Data Date,Close,Dividends 2026-03-16,10000,0 2026-03-17,9990,20 2026-03-18,9998,0 先頭2行がスキップする対象になります。 コード例 skiprows を使ってスキップします。 import pandas as pd def main(): # CSV読み込み(先頭2行を無視) df = pd.read_csv("fund.csv", s…
はじめに Ruby で CSV を扱う方法をいつも忘れるので、備忘録として記事にして残しておこうと思います。Claude Code や Cursor が何でも実装してくれる世界になってしまいましたが、発信することや備忘録を残しておくことは良いことだと思うので。 Ruby の CSV クラスについてこちら docs.ruby-lang.org AWS の S3 にある CSV を取得して扱う AWS S3 上にある CSV を取得して処理をする場合は一般的に AWS SDK for Ruby を利用するので、その前提で記述します。 以下のコードで client を初期化して、S3 にある CSV…
この Tips シリーズでは、#9 までに基本的なデータ構造を整理し、#10 以降は Python イディオム(Python 特有の慣用的な書き方)を紹介してきました。今回は、実務で役立つ Python実践スキル の9回目として、データ処理の現場で登場頻度の高い CSV処理 を整理します。 「Excelで開いたら文字化け」「大量のCSVを一括処理したい」「データを集計・加工したい」― そんな実務の困りごとを、Pythonの標準ライブラリ csv で解決します。
CSV・Excelのデータ入力/整形/集計を依頼したい方へ(PR) データ入力や整形(表記ゆれ・空白・重複など)に時間を取られている方向けに、作業を代行します。納品はファイル(xlsx/csv)で完結します。 対応内容 データ入力(指定フォーマットへの転記、リスト作成) 整形(全角/半角、空白、表記統一、重複チェック 等) 簡単な集計(関数/ピボット)、グラフ(目安:1〜2点) 納品ファイル整理(ファイル名・フォルダ分け) 依頼時に送ってほしいもの 元データ(xlsx/csv/テキスト等) 完成イメージ(列名・並び順・形式、例があれば最高) 件数(行数の目安)と納期希望 整形ルール(例:日付形…
こんにちは。いーかです。このページは、WindowsでCSV/JSON/TXTなどを扱うときに起きがちな BOM(\ufeff)問題を、症状から最短で解決記事へ飛べるように整理した「シリーズまとめ(ハブ記事)」です。 「列があるのに KeyError」「JSONが読めない」「PowerShellのコマンドが動かない」など、事故ったときに ここに戻ってくればOK、という作りにしています。 ※検索で多い言い方:**「UTF-8 BOM あり/なし」「CSV 列名 KeyError」「JSONDecodeError BOM」「Excel CSV 全部1列」「PowerShell BOM 確認」**に…
こんにちは。いーかです。この記事では、Windows環境でPythonを使ってCSV/JSON/TXTを扱うときに起きがちな文字コード事故を、チェックリスト10個として“再発防止の型”にまとめます。BOM(\ufeff)も当然カバーします。 ⚠️ 最初に注意(ここで詰まる人が多い) PowerShellは バージョン差があります。特に Windows PowerShell 5.1 だと、記事やネットのコマンドがそのまま動かないことがあります。 Get-Content -AsByteStream が 無い Format-Hex の引数(例:-Count)が 環境で違う .ps1 を UTF-8(…
こんにちは。いーかです。この記事では、pandasでCSVを読むときに地味に刺さる BOM(\ufeff)問題を、encoding="utf-8-sig" を中心に、いつ使うべきか/いつ要らないかまで含めて整理します。 結論(1行) Windows由来のCSVで列名ズレ(\ufeff混入)が疑わしいなら、まず pd.read_csv(..., encoding="utf-8-sig")。BOMを“読む側で吸収”できて、最短で安全です。 救急コピペ(まずこれだけで原因が見える) 「列名が変」「KeyError」「BOMっぽい?」と思ったら、まずこれをコピペでOKです。 import pandas…
こんにちは。いーかです。この記事では、Excelで作ったデータをCSVにしてPython(pandas)で読むときに起きがちな「文字化け」「列ズレ」「読めない」を、**3大原因(BOM・改行・区切り文字)**で整理して、最短で切り分ける手順をまとめます。 結論(1行) Excel→CSV→Python事故の多くは「BOM」「改行(CRLF)」「区切り文字(, / ; / タブ)」のどれか。まず“原因の切り分け”をすると、直し方は一気に簡単になります。 救急コピペ(まずこれだけやれば原因が見える) 「とりあえず読みたい」「どこが壊れてるか知りたい」人は、まずこれをコピペでOKです。※BOM対策込…
こんにちは。いーかです。この記事では、Windowsで「このファイル、BOM付いてる?」を PowerShellだけで確実に確認する方法をまとめます。CSV/JSON/TXTなど、UTF-8テキスト全般にそのまま使えます。 ⚠️ 注意:PowerShell 5.1は“環境差”と“.ps1文字化け”がある(最初にここだけ) PowerShellは バージョンによって使える引数や挙動が違うことがあります。実際に私の環境(Windows PowerShell 5.1)では、次の地雷がありました。 Get-Content -AsByteStream が 存在しない Format-Hex の引数(例:-…