Comma Separated Value の略。
主に表計算ソフト間の互換フォーマットとして用いられる。「カンマでカラムが区切られ、改行で行が区切られる」という漠然としたルールで明確なフォーマットの仕様や標準は存在しなかったが、2005年10月にCSVの仕様について書かれたRFC 4180が公開された。
また、タブ区切りなどもCSVに含める場合がある。これは "Character-Separated Values" の略である。
バージョン管理システムのCVSと間違いやすい。
経緯 EC-CUBE3とEC-CUBE4でそれぞれCSV出力機能を使用しているのですが、CSVを使ってIFしている連携先から「改行コードをLFでなくCRLFにしてほしい」という要望があがりました。 調べてみたけど、スルッと使えるものがなかったので、自分で実装したら、追記2か所でいけました。 変更対象ソース /src/Eccube/Service/CsvExportService.php EC-CUBE3もEC-CUBE4も同一ソースでした。もちろん中身は異なりますが、今回の追記内容は同じでOKです。 追記箇所1 ファイルの一番下に以下を追記します。 class CrlfFilter{ publ…
こんにちは。システム開発グループの小田切と申します。 プログラム実装に関わっていて、JSON*1フォーマットを扱うことが多くなっています。 そういえば、エイッとなんとなく作るJSONフォーマット*2ですが、今一度、JSONの国際標準を確認してみようと思います。 そ。の。ま。え。に。 JSON以前に存在する皆さんに更になじみの深いCSV*3も、いまだに多用しています。まずは、CSVの国際標準を、過去の体験談なども交えて、書きたいと思います。 CSVの国際標準 RFC 4180 RFC 4180の内容とは トップページ 1. Introduction(はじめに) 2. Definition of …
うちのブログで最も読まれている記事↓ morinogps.hatenablog.com QGIS3.10で久しぶりに断面図作ってみたら、なんかCSVを吐き出せることに気が付きました。(今更) 今回作った断面 qProfの設定パネル 断面図作った後でqProfの設定パネルの「Export」タブで「Topographic Profile Data」のボタン押すと、 Exportオプション選択ダイアログ こんなダイアログが開くので、CSV選んで適当なファイル名つけて適当な保存先フォルダ設定して「OK」を押すと、CSVファイルができます。 CSVをExcelで開いたところ Excelで開くと、どうもグ…
CsvHelperのバージョンを26に上げたら仕様がだいぶ変わってはまったので備忘録として記録する この記事で達成できること CsvHelper ver26でダブルクォーテーション付きのCSVが出力できる 日本語のヘッダーを出力できる 書き方 /// <summary> /// ファイル書き込み /// </summary> /// <returns></returns> public void Write(IEnumerable<TModel> WriteData) { var config = new CsvConfiguration(CultureInfo.InvariantCultur…
エクセルに比べれば外部のCSVを扱う処理はまだ悩むことが少ないだろうと油断していたところ、 先日かなり頭を悩ませたので戒めとして記録したいと思います。
JavaでCSVを読み込む方法を調べました。 最初は、SpringBootに組み込まれているObjectMapperで読み込めると思いましたが、ObjectMapperではCSV読み込みはできないようです。ですので、意図的にJacksonライブラリのCsvMapperを依存関係に含める必要があります。 この記事では、CsvMapperを利用してCSVファイルを読み込めるようにします。 ユースケース 巨大なデータの登録 APIがJSONではなくCSV形式で提供している場合 環境 Java 15 org.springframework.boot:spring-boot-starter-test 2…
CSVファイルをADOで扱う連載の4回目です。前回の記事はこちらになります。 hirocom777.hatenadiary.org さらなる活用を考える 前回は、意図しないデータ変換を防ぐCSVファイルの形式について考えてみました。すべてのデータをダブルクォーテーションで括って文字列型に固定することで意図しないデータ変換を防げることが判りました。考えてみればCSVファイルはテキストファイルなので、この方法は無難だと思います。 ところでこの連載ではADOを使用してCSVファイルを扱うことを主題にしていることは、すでに申しあげたとおりです。ADOは、そもそもデータベースを取り扱うためのもので、今回…
PowerShellからCSVファイルを開いて内容にアクセスする方法を紹介します。以前はWindowsにはテキストのストリームを扱うツールがないため、awk やsed などUnix系のコマンドを使っていましたが、PowerShellでも簡単にアクセスができます。 // CSVファイル まずはテスト用のCSVファイルを用意します。1行目はヘッダです。 test.csv 種別,名前,口癖 イヌ, キャラメル, ワン リス, ジュン, あながち アリクイ, マコト, ホントに コグマ, ジャスミン, チャ 単純出力 PowerShell には Import-Csv というCSVを簡単に取り扱うための…
こんにちは、やもり(yamori-tech)です。 備忘録として「8桁のstr型数字 00000000 を pd.read_csv で読み込んだら 0.0 になる罠にハマった話」について書こうと思います。 結論としては、dtype=object を指定することで、空欄を維持したまま csv を読み込むことができます。 >|python| pd.read_csv('hoge.csv', dtype=object, encoding='utf-8') ||<
CSVファイルをADOで扱う連載の3回目です。前回の記事はこちらになります hirocom777.hatenadiary.org 意図しないデータ変換を防ぐ方法 前回は、ADOを使ってCSVファイルを開くツール(以下CSV_ReaderADO)の概略について説明しました。思っていたよりもシンプルだったんじゃないですか? 今回はCSV_ReaderADO、というよりADOを使ってCSVファイルを開くときに、意図しないデータ変換を防ぐ方法をご紹介したいと思います。CSV_ReaderADOはこちらからどうぞ!! 01_ADOでCSVを扱う.zip - Google ドライブ ファイルを開いて比べて…
没メモ。 正直そのうち船井が使うんじゃないかと思ったので。
はじめに 覚えてほしいこと やりたいこと APIとは? GET Request と POST Requestの違いについて Request・Responseとは? GET Request と POST Requestの違いは? Get Requestのイメージ Post Requestのイメージ JSONとは? やりたいこと - 全体の方針 郵便番号検索APIの使い方 Step1 - GET Request用 URLを作成 Step2,3 - 郵便番号検索APIを使う - GET Requestの使い方 Workflow - Get Request Confirm - Get Request …
こんにちハローキティ クリーニング代って意外に高いですね. Editor拡張の勉強でScriptableObjectを作成するやつを開発した時のメモです. 参考サイト 動機 完成 実装 簡単な解説 終わりに 参考サイト 下記のサイトを参考にしました. 49.233.81.186 qiita.com ekulabo.com 動機 Unityでキャラクターのステータスをハードコーディングしてたのが辛くなったので,別の方法を探したらScriptableObjectを使うのが良いらしいと記事を見ました. ただScriptableObjectを作成するだけではつまらないので,パラメータを入力してScri…
アカウントまたはグループに権限設定して、もろもろの属性に応じたアクセス制御を行うことになった。 システム管理者が参照・作成・更新・削除といった権限を含むロールを作成 システム管理者がトップレベルのリソース(ルートディレクトリ的なもの)を作成 システム管理者がトップレベルのリソースごとに管理者を指定(アカウントに管理者ロールを指定するイメージ) 各トップレベルリソースの管理者が、そのリソースに参加するアカウントや、複数アカウントが参加するグループにロールを割り当て リソース作成権限のあるロールを持ったアカウントがリソース(サブディレクトリやファイル的なもの)を作成 のような仕様になりそうで、スク…
他国への侵略、侵入が李家の正業(なりわい)だからこんな子の不幸、家族の不幸が平然と起こる!皇族も王族も即時廃止しろ! Tobe美南海ゴム製作所さん、忙しいだろうね。アへのお子達沢山居るけど、どうなるんだろう...。朝堂院さんのお子達は60人位いるし、山本太郎さんとかね~😥日本の次世代を担うと言って出て来ていた人達も、結局はDSが用意していた訳で。 小松邦子真央ちゃんはアベの娘ですよね。滝沢クリステルの息子も、ですやよね。 おいしいルートビアオノヨーコ首の色がちがうゴムでしたhttps://www.huffingtonpost.jp/2016/09/13/yoko-ono-arising-art…
今週も ■ 1週間の筋トレ記録 ■ 注視しているポイント ■ やってしまったこと(雑談) などについて話させていただきます\(^o^)/ワーイ 【目次】 今週の筋トレと感想 【月曜】(腰まわり)ブリッジ 【火曜】(肩まわり)逆立ち腕立てと名前知らずの腕立て 【水曜】(二頭筋/背中)懸垂 【木曜】(お腹まわり)アブローラー 【金曜】(脚まわり)片足スクワット 【土曜】(胸→三頭筋)腕立てとディップス 【日曜】(背中/二頭筋)懸垂 今週のやらかした話 先週は加重について考えていましたが、今週はいつものバランスで負荷をアップ! 今週の筋トレと感想 【月曜】(腰まわり)ブリッジ おはようございます😊今…
SharePoint Online において、サイトの権限の一覧を取得したいシーンがよくあります。従来、監査目的で、適切に権限の管理ができているかを見るために、CSOM 等の API を使用してサイトやライブラリ、ファイル単位で権限を一覧化する場面が多々ありましたが、SharePoint Online の標準機能のレポート機能で、サイトコレクション内の固有の権限が付与されたファイルの一覧を CSV ファイルに出力する機能が提供されるようになったため、備忘録として残しておきます。 できること レポートの出力手順 日本語が文字化けする場合 OneDrive の場合 おわりに できること 手元の環境…
昨日の雨は結構降りましたね。圃場もあっちこっちに水たまりが出来ていたので、乾いたら排水用の溝を作っていかないとなぁと考えています。 雨の間に、帳簿にクレジットカードの支払いデータ(CSVファイル)を取り込んで、自動で記帳するようにプログラムを作っていました。まだ中途半端なので、少しずつ使いやすくしていこうかと思います。これから先、支払いというのが増えてくるだろうと思うので、出来る限り帳簿への記帳の自働化を進めていかないと、事務作業に追われてしまいます。 さて、今日はスイカに貼るシールについてです。 去年のスイカの写真なのですが、スイカに赤いシールが貼っていると思います。このシールはJAに出荷す…
集客販促ツール16選徹底比較【自動で集客・販促・採用を増やすツール】 「自動で新規のお客や採用募集を増やしたい!」 「安全安心なサービスってあるの」 「そもそも集客や募集に効果ってあるの?」 と、いった悩みを抱えてはいませんか? はじめまして!私自身がウチの店舗の集客や採用募集を増やしたい!ということで、口コミ、評判、特徴、使用した感想をまとめました(管理人:ウェブ広報担当) このサイトでは、ツールごとのメリット・デメリット・料金などを比較しました。私と同じように、自動で集客したい!売上が上がる仕組みを作りたい!採用募集も集まるようにしたい!専門のプロにしっかりとアドバイスしてほしい!という方…
はじめに pandasのdatetime型を扱ったときにエラーを吐かれ、検索してもほぼ出てこなかったので残しておきます。 問題設定 以下のようなcsvファイルをpandasで読み込み、dateをindexにした後にdateが2020年のものをスライスすることを目的とする。下の表は一例だがデータ収集の際、日付に関して降順にソートされている。 title date aa 2021/4/3 bb 2021/2/1 cc 2020/6/11 dd 2020/2/20 今回動かしたコードは以下: import pandas as pd df = pd.read_csv('./data.csv') df[…
これは、なにをしたくて書いたもの? MySQLにCSVロードをしようとした時に、LOAD DATAを使ったり、ふつうにINSERT文を使ったりといくつか方法が あると思うのですが、どれくらい違うものだろう?ということで試してみることにしました。 お題 CSVファイルを用意して、以下の方法を試してみます。 LOAD DATA(正確には、LOAD DATA LOCAL) Parallel Table Import Utility(MySQL Shell) CSVを読み込み、INSERT文を実行するJavaプログラム シンプルにINSERTを実行 JDBCでのバッチ更新 rewriteBatched…
データフロー Bigqueryへデータを転送するとき一度GCSにデータを置きます。理由はエラー発生時にデータ再転送しなくて済むのとBigqueryのデータ更新回数1日1000回の制限超過を防ぐためです。しかしGCSにデータを置いた場合GCSからBigqueryへデータ転送バッチを作成しなければならず面倒です。そこでCloud Functionを使用してGCSにデータを置いたら自動でBiguqeryへデータ転送するよう設定します。 データフロー fluentd ---> GCS ---> Clound Function ----> Bigquery (データ転送はfluentdを想定) Clou…
CSVファイルをADOで扱う連載の7回目です。前回の記事はこちらになります。 hirocom777.hatenadiary.org 読込と同時に計算する 前回は、SQLを指定してCSVファイルを確認できるツール(CSV_ReaderSQL)で行を選択して読み込んでみました。列の選択に加えて行の選択もできるとあれば、色々な応用方法が考えられます。 今回は、読込と同時に読み込んだ内容を計算した結果も表示してみましょう。これができると色々なことに応用できそうです。読み込んだ後の処理が簡単になりますし、元のファイルサイズはコンパクトで済みます。ツールは以下からダウンロードしてください。 05_SQLで…
今回は都道府県別の小学校費のデータを分析します。 政府統計の総合窓口(www.e-stat.go.jp)からデータを取り込みます。 47都道府県を選択します。 総人口(人)、可住地面積(ha)、県内総生産額(H17年基準、百万円)、小学校費(都道府県財政、千円)、小学校費(市町村財政、千円)の5つのデータを選択しました。 このようなデータです。 CSVファイルはこのようになりました。 このCSVファイルをR言語に取り込みます。 tidyverseパッケージの読み込みをしてから、read_csv関数で読み込みします。 read_csv関数でCSVファイルを読み込みます。 na.omit関数でNA…
はじめに データエンジニアリングまわりを復習したときのメモです。 Webアプリから発生するデータを使ってモデルを継続的に学習させるためのデータ基盤を想定しています。 データエンジニアリング導入以前ver 概要 CSVファイル PoC時点などのシンプルな実装だと、サーバ腹持ちCSVファイルのみでデータを管理する、ということもあると思います リレーショナルデータベース(RDB) 同時実行制御・耐障害性 一貫性・拡張性・信頼性・速度 関連技術要素 【CSV】pandas, etc 【RDB】PostgreSQL, MySQL, etc 課題 Webアプリケーションデータベースとは疎にしたい(分ければ…