CSV

経緯 EC-CUBE3とEC-CUBE4でそれぞれCSV出力機能を使用しているのですが、CSVを使ってIFしている連携先から「改行コードをLFでなくCRLFにしてほしい」という要望があがりました。 調べてみたけど、スルッと使えるものがなかったので、自分で実装したら、追記2か所でいけました。 変更対象ソース /src/Eccube/Service/CsvExportService.php EC-CUBE3もEC-CUBE4も同一ソースでした。もちろん中身は異なりますが、今回の追記内容は同じでOKです。 追記箇所1 ファイルの一番下に以下を追記します。 class CrlfFilter{ publ…

こんにちは。システム開発グループの小田切と申します。 プログラム実装に関わっていて、JSON*1フォーマットを扱うことが多くなっています。 そういえば、エイッとなんとなく作るJSONフォーマット*2ですが、今一度、JSONの国際標準を確認してみようと思います。 そ。の。ま。え。に。 JSON以前に存在する皆さんに更になじみの深いCSV*3も、いまだに多用しています。まずは、CSVの国際標準を、過去の体験談なども交えて、書きたいと思います。 CSVの国際標準 RFC 4180 RFC 4180の内容とは トップページ 1. Introduction（はじめに） 2. Definition of …

うちのブログで最も読まれている記事↓ morinogps.hatenablog.com QGIS3.10で久しぶりに断面図作ってみたら、なんかCSVを吐き出せることに気が付きました。（今更） 今回作った断面 qProfの設定パネル 断面図作った後でqProfの設定パネルの「Export」タブで「Topographic Profile Data」のボタン押すと、 Exportオプション選択ダイアログ こんなダイアログが開くので、CSV選んで適当なファイル名つけて適当な保存先フォルダ設定して「OK」を押すと、CSVファイルができます。 CSVをExcelで開いたところ Excelで開くと、どうもグ…

CsvHelperのバージョンを26に上げたら仕様がだいぶ変わってはまったので備忘録として記録する この記事で達成できること CsvHelper ver26でダブルクォーテーション付きのCSVが出力できる 日本語のヘッダーを出力できる 書き方 /// <summary> /// ファイル書き込み /// </summary> /// <returns></returns> public void Write(IEnumerable<TModel> WriteData) { var config = new CsvConfiguration(CultureInfo.InvariantCultur…

JavaでCSVを読み込む方法を調べました。 最初は、SpringBootに組み込まれているObjectMapperで読み込めると思いましたが、ObjectMapperではCSV読み込みはできないようです。ですので、意図的にJacksonライブラリのCsvMapperを依存関係に含める必要があります。 この記事では、CsvMapperを利用してCSVファイルを読み込めるようにします。 ユースケース 巨大なデータの登録 APIがJSONではなくCSV形式で提供している場合 環境 Java 15 org.springframework.boot:spring-boot-starter-test 2…

CSVファイルをADOで扱う連載の4回目です。前回の記事はこちらになります。 hirocom777.hatenadiary.org さらなる活用を考える 前回は、意図しないデータ変換を防ぐCSVファイルの形式について考えてみました。すべてのデータをダブルクォーテーションで括って文字列型に固定することで意図しないデータ変換を防げることが判りました。考えてみればCSVファイルはテキストファイルなので、この方法は無難だと思います。 ところでこの連載ではADOを使用してCSVファイルを扱うことを主題にしていることは、すでに申しあげたとおりです。ADOは、そもそもデータベースを取り扱うためのもので、今回…

PowerShellからCSVファイルを開いて内容にアクセスする方法を紹介します。以前はWindowsにはテキストのストリームを扱うツールがないため、awk やsed などUnix系のコマンドを使っていましたが、PowerShellでも簡単にアクセスができます。 // CSVファイル まずはテスト用のCSVファイルを用意します。1行目はヘッダです。 test.csv 種別,名前,口癖 イヌ, キャラメル, ワン リス, ジュン, あながち アリクイ, マコト, ホントに コグマ, ジャスミン, チャ 単純出力 PowerShell には Import-Csv というCSVを簡単に取り扱うための…

エラー内容 指定したメールボックス"ユーザー名"は一意ではありません。 // PowershellでGetのコマンドレットなど情報を取得する場合に上記のメッセージが表示される場合があります。 このメッセージは、複数のオブジェクトに対し同じ Alias や DisplayName などを設定している場合に発生し、1 つのメールボックスとして特定できないために出力されたメッセージです。 対処方法として、Identity の値に GUID や UserPrincipalName などの一意の値を指定することで回避が可能です。 一例として、以下のコマンドレットのシナリオをご紹介したいと思います。 <例…

本記事では、例えば複数のパラメータA, B, Cの3つがあって、それらの和がSとなる値を指定して、整数の乱数を作成する雛形コードを載せました。 下図は、S＝150と指定して200水準作成した例です。生成したデータはcsvファイルに出力する仕様です。 また、下図のようにヒストグラムでその分布を確認する仕様です。 ■本プログラム #!/usr/bin/env python # coding: utf-8 # In[1]: import numpy as np import pandas as pd import matplotlib.pyplot as plt parameter_name_lis…

アリババとは？アリババ Alibabaは、世界最大の B2B トレーディングプラットホームです。アリババはレベルの高い製造業者、サプライヤー、輸出業者、輸入業者、バイヤー、卸売業者、製品を提供しています。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすく人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、ほとんど99％のWebスクレイピングを満たします。ScrapeStormにより、大量のWebデータを素早く正確的に取得できます。手動でデータ抽出が直面するさまざまな問題を完全に解決し、情報取得の…

今回はgoogle open Image datasetのyolov4データをdownloadする方法。google open Image datasetは物体検出からセグメンテーションまで良質なデータが揃ってtて、v1〜v6まである。直でdownloadすると割と面倒。（調べるのがめんどい）なので今回は物体検出の特定のclassのデータをdownloadする方法のメモ。データのDownloadOIDv4_ToolKitを使う。 Open Images Dataset V4 の任意のクラスだけの画像とアノテーションデータをダウンロードすることができる アノテーションデータは、物体検出 のみ。セ…

新卒3年目が終わる 4月~ コロナ 3月~ 需要予測の案件 5月 新卒Git研修 ~6月 M5コンペ 7月 週刊 個人的に気になったデータサイエンスNews ~9月鳥コンペ 9月 Bonfire Data Analyst #3 10月 atma#6でdiscussion賞で賞金をいただく 11月 5週連続オンラインB’zライブ ~1月Riiidコンペ 1月白金鉱業FMがJAPAN PODCAST AWARDS 2020 推薦作品に入選 3年経って思うこと 最後に 新卒3年目が終わる こんにちは。nino_piraです。 毎年恒例になっている1年間の振り返りブログの3年目です。 さて、今年も1年…

本ブログのメインテーマでもあるCBT。そんなCBTの進化版ともいえるCAT(Computerized Adaptive Testing)というテストシステムをご存知でしょうか？個別最適型テストとも呼ばれるCATは、少ない時間で広い範囲を測定できる画期的なテスト方式なのです。 今回は、CATとは何か、メリット・デメリットなどを解説していきます。 ※CBTについては、こちらの90秒動画でも紹介しています。 CATとは？ どんなテストで使われているか SPI GMAT CATを導入するメリット CATを導入するデメリット WisdomBaseなら、CAT実現のご相談も随時承ります！ CATとは？ C…

SendGridでメルマガを配信するために宛先を追加しようとしていました。しかし、SendGridの初期設定では宛先の項目に「企業名」「役職」「メモ」等がないことに作業をはじめてから気づきました。 SendGridの管理画面が英語であることもあり、解決に時間がかかってしまったので、今回はSendGridに「企業名」「役職」「メモ」等も含めて宛先を追加する方法をまとめさせていただきます。 カスタムフィールドの値を追加する SendGridに「企業名」「役職」「メモ」等も含めて宛先を追加するにはカスタムフィールドの値を追加する必要があります。 管理画面右サイドメニューからMarketing＞Cus…

こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。ま…

個人的に Pandas を使ってデータ分析をする機会が増えてきて，今までの浅い経験ではうまく使いこなせず，Pandas を中心に細かく学び直している．最近 Pandas 関連の記事を多く書いていることにも関連しているし，少し前には Pandas を学べる「Kaggle Courses」を紹介した．そして並行して「Pandas ライブラリ活用入門」を読んだため，書評をまとめておく． Pythonデータ分析／機械学習のための基本コーディング！ pandasライブラリ活用入門 impress top gearシリーズ作者:Daniel Y. Chen,吉川 邦夫,福島 真太朗発売日: 2019/02…

iOS13から標準で入っているショートカットアプリで暗記したいことをマルバツクイズ形式で出題してくれるショートカットを組みました。 記録。 以下からDLできます。 www.icloud.com CSVは以下の5列。 (別の暗記アプリで使用するつもりで作ったCSVを流用してます、、。) Title Question Correct Wrong Memo 使用しているのは「Question」「Correct」「Memo」のみです。 そのため「リストから項目を取得」の時に指定してある数値が2,3,5となっています。 項目名も別に必要ないのでつまり 問題 答え 解説・メモ の3項目あれば十分です。 修…

概要 Raspberry Pi3で動いている定期実行タスクを、GCPへ引っ越した。 今回は、ウェブサイトへアクセスしてデータを取得しGoogle SpreadSheetへ追記するプログラムをCloud Functions(GCP)で実行できるようにした。