CSV

うちのブログで最も読まれている記事↓ morinogps.hatenablog.com QGIS3.10で久しぶりに断面図作ってみたら、なんかCSVを吐き出せることに気が付きました。（今更） 今回作った断面 qProfの設定パネル 断面図作った後でqProfの設定パネルの「Export」タブで「Topographic Profile Data」のボタン押すと、 Exportオプション選択ダイアログ こんなダイアログが開くので、CSV選んで適当なファイル名つけて適当な保存先フォルダ設定して「OK」を押すと、CSVファイルができます。 CSVをExcelで開いたところ Excelで開くと、どうもグ…

CsvHelperのバージョンを26に上げたら仕様がだいぶ変わってはまったので備忘録として記録する この記事で達成できること CsvHelper ver26でダブルクォーテーション付きのCSVが出力できる 日本語のヘッダーを出力できる 書き方 /// <summary> /// ファイル書き込み /// </summary> /// <returns></returns> public void Write(IEnumerable<TModel> WriteData) { var config = new CsvConfiguration(CultureInfo.InvariantCultur…

エクセルに比べれば外部のCSVを扱う処理はまだ悩むことが少ないだろうと油断していたところ、 先日かなり頭を悩ませたので戒めとして記録したいと思います。

JavaでCSVを読み込む方法を調べました。 最初は、SpringBootに組み込まれているObjectMapperで読み込めると思いましたが、ObjectMapperではCSV読み込みはできないようです。ですので、意図的にJacksonライブラリのCsvMapperを依存関係に含める必要があります。 この記事では、CsvMapperを利用してCSVファイルを読み込めるようにします。 ユースケース 巨大なデータの登録 APIがJSONではなくCSV形式で提供している場合 環境 Java 15 org.springframework.boot:spring-boot-starter-test 2…

PowerShellからCSVファイルを開いて内容にアクセスする方法を紹介します。以前はWindowsにはテキストのストリームを扱うツールがないため、awk やsed などUnix系のコマンドを使っていましたが、PowerShellでも簡単にアクセスができます。 // CSVファイル まずはテスト用のCSVファイルを用意します。1行目はヘッダです。 test.csv 種別,名前,口癖 イヌ, キャラメル, ワン リス, ジュン, あながち アリクイ, マコト, ホントに コグマ, ジャスミン, チャ 単純出力 PowerShell には Import-Csv というCSVを簡単に取り扱うための…

こんにちは、やもり（yamori-tech）です。 備忘録として「8桁のstr型数字 00000000 を pd.read_csv で読み込んだら 0.0 になる罠にハマった話」について書こうと思います。 結論としては、dtype=object を指定することで、空欄を維持したまま csv を読み込むことができます。 >|python| pd.read_csv('hoge.csv', dtype=object, encoding='utf-8') ||<

CSVファイルをADOで扱う連載の3回目です。前回の記事はこちらになります hirocom777.hatenadiary.org 意図しないデータ変換を防ぐ方法 前回は、ADOを使ってCSVファイルを開くツール（以下CSV_ReaderADO）の概略について説明しました。思っていたよりもシンプルだったんじゃないですか？ 今回はCSV_ReaderADO、というよりADOを使ってCSVファイルを開くときに、意図しないデータ変換を防ぐ方法をご紹介したいと思います。CSV_ReaderADOはこちらからどうぞ！！ 01_ADOでCSVを扱う.zip - Google ドライブ ファイルを開いて比べて…

没メモ。 正直そのうち船井が使うんじゃないかと思ったので。

こんにちハローキティ クリーニング代って意外に高いですね． Editor拡張の勉強でScriptableObjectを作成するやつを開発した時のメモです． 参考サイト 動機 完成 実装 簡単な解説 終わりに 参考サイト 下記のサイトを参考にしました． 49.233.81.186 qiita.com ekulabo.com 動機 Unityでキャラクターのステータスをハードコーディングしてたのが辛くなったので，別の方法を探したらScriptableObjectを使うのが良いらしいと記事を見ました． ただScriptableObjectを作成するだけではつまらないので，パラメータを入力してScri…

アカウントまたはグループに権限設定して、もろもろの属性に応じたアクセス制御を行うことになった。 システム管理者が参照・作成・更新・削除といった権限を含むロールを作成 システム管理者がトップレベルのリソース(ルートディレクトリ的なもの)を作成 システム管理者がトップレベルのリソースごとに管理者を指定(アカウントに管理者ロールを指定するイメージ) 各トップレベルリソースの管理者が、そのリソースに参加するアカウントや、複数アカウントが参加するグループにロールを割り当て リソース作成権限のあるロールを持ったアカウントがリソース(サブディレクトリやファイル的なもの)を作成 のような仕様になりそうで、スク…

他国への侵略、侵入が李家の正業(なりわい)だからこんな子の不幸、家族の不幸が平然と起こる！皇族も王族も即時廃止しろ！ Tobe美南海ゴム製作所さん、忙しいだろうね。アへのお子達沢山居るけど、どうなるんだろう...。朝堂院さんのお子達は60人位いるし、山本太郎さんとかね～😥日本の次世代を担うと言って出て来ていた人達も、結局はDSが用意していた訳で。 小松邦子真央ちゃんはアベの娘ですよね。滝沢クリステルの息子も、ですやよね。 おいしいルートビアオノヨーコ首の色がちがうゴムでしたhttps://www.huffingtonpost.jp/2016/09/13/yoko-ono-arising-art…

今週も ■ 1週間の筋トレ記録 ■ 注視しているポイント ■ やってしまったこと(雑談) などについて話させていただきます＼(^o^)／ﾜｰｲ 【目次】 今週の筋トレと感想 【月曜】(腰まわり)ブリッジ 【火曜】(肩まわり)逆立ち腕立てと名前知らずの腕立て 【水曜】(二頭筋/背中)懸垂 【木曜】(お腹まわり)アブローラー 【金曜】(脚まわり)片足スクワット 【土曜】(胸→三頭筋)腕立てとディップス 【日曜】(背中/二頭筋)懸垂 今週のやらかした話 先週は加重について考えていましたが、今週はいつものバランスで負荷をアップ！ 今週の筋トレと感想 【月曜】(腰まわり)ブリッジ おはようございます😊今…

昨日の雨は結構降りましたね。圃場もあっちこっちに水たまりが出来ていたので、乾いたら排水用の溝を作っていかないとなぁと考えています。 雨の間に、帳簿にクレジットカードの支払いデータ(CSVファイル）を取り込んで、自動で記帳するようにプログラムを作っていました。まだ中途半端なので、少しずつ使いやすくしていこうかと思います。これから先、支払いというのが増えてくるだろうと思うので、出来る限り帳簿への記帳の自働化を進めていかないと、事務作業に追われてしまいます。 さて、今日はスイカに貼るシールについてです。 去年のスイカの写真なのですが、スイカに赤いシールが貼っていると思います。このシールはJAに出荷す…

集客販促ツール16選徹底比較【自動で集客・販促・採用を増やすツール】 「自動で新規のお客や採用募集を増やしたい！」 「安全安心なサービスってあるの」 「そもそも集客や募集に効果ってあるの？」 と、いった悩みを抱えてはいませんか？ はじめまして！私自身がウチの店舗の集客や採用募集を増やしたい！ということで、口コミ、評判、特徴、使用した感想をまとめました（管理人：ウェブ広報担当） このサイトでは、ツールごとのメリット・デメリット・料金などを比較しました。私と同じように、自動で集客したい！売上が上がる仕組みを作りたい！採用募集も集まるようにしたい！専門のプロにしっかりとアドバイスしてほしい！という方…

はじめに pandasのdatetime型を扱ったときにエラーを吐かれ、検索してもほぼ出てこなかったので残しておきます。 問題設定 以下のようなcsvファイルをpandasで読み込み、dateをindexにした後にdateが2020年のものをスライスすることを目的とする。下の表は一例だがデータ収集の際、日付に関して降順にソートされている。 title date aa 2021/4/3 bb 2021/2/1 cc 2020/6/11 dd 2020/2/20 今回動かしたコードは以下: import pandas as pd df = pd.read_csv('./data.csv') df[…

これは、なにをしたくて書いたもの？ MySQLにCSVロードをしようとした時に、LOAD DATAを使ったり、ふつうにINSERT文を使ったりといくつか方法が あると思うのですが、どれくらい違うものだろう？ということで試してみることにしました。 お題 CSVファイルを用意して、以下の方法を試してみます。 LOAD DATA（正確には、LOAD DATA LOCAL） Parallel Table Import Utility（MySQL Shell） CSVを読み込み、INSERT文を実行するJavaプログラム シンプルにINSERTを実行 JDBCでのバッチ更新 rewriteBatched…

CSVファイルをADOで扱う連載の7回目です。前回の記事はこちらになります。 hirocom777.hatenadiary.org 読込と同時に計算する 前回は、SQLを指定してCSVファイルを確認できるツール（CSV_ReaderSQL）で行を選択して読み込んでみました。列の選択に加えて行の選択もできるとあれば、色々な応用方法が考えられます。 今回は、読込と同時に読み込んだ内容を計算した結果も表示してみましょう。これができると色々なことに応用できそうです。読み込んだ後の処理が簡単になりますし、元のファイルサイズはコンパクトで済みます。ツールは以下からダウンロードしてください。 05_SQLで…

今回は都道府県別の小学校費のデータを分析します。 政府統計の総合窓口(www.e-stat.go.jp)からデータを取り込みます。 47都道府県を選択します。 総人口(人)、可住地面積(ha)、県内総生産額(H17年基準、百万円)、小学校費(都道府県財政、千円)、小学校費(市町村財政、千円)の5つのデータを選択しました。 このようなデータです。 CSVファイルはこのようになりました。 このCSVファイルをR言語に取り込みます。 tidyverseパッケージの読み込みをしてから、read_csv関数で読み込みします。 read_csv関数でCSVファイルを読み込みます。 na.omit関数でNA…

はじめに データエンジニアリングまわりを復習したときのメモです。 Webアプリから発生するデータを使ってモデルを継続的に学習させるためのデータ基盤を想定しています。 データエンジニアリング導入以前ver 概要 CSVファイル PoC時点などのシンプルな実装だと、サーバ腹持ちCSVファイルのみでデータを管理する、ということもあると思います リレーショナルデータベース（RDB） 同時実行制御・耐障害性 一貫性・拡張性・信頼性・速度 関連技術要素 【CSV】pandas, etc 【RDB】PostgreSQL, MySQL, etc 課題 Webアプリケーションデータベースとは疎にしたい（分ければ…