CSV

うちのブログで最も読まれている記事↓ morinogps.hatenablog.com QGIS3.10で久しぶりに断面図作ってみたら、なんかCSVを吐き出せることに気が付きました。（今更） 今回作った断面 qProfの設定パネル 断面図作った後でqProfの設定パネルの「Export」タブで「Topographic Profile Data」のボタン押すと、 Exportオプション選択ダイアログ こんなダイアログが開くので、CSV選んで適当なファイル名つけて適当な保存先フォルダ設定して「OK」を押すと、CSVファイルができます。 CSVをExcelで開いたところ Excelで開くと、どうもグ…

CsvHelperのバージョンを26に上げたら仕様がだいぶ変わってはまったので備忘録として記録する この記事で達成できること CsvHelper ver26でダブルクォーテーション付きのCSVが出力できる 日本語のヘッダーを出力できる 書き方 /// <summary> /// ファイル書き込み /// </summary> /// <returns></returns> public void Write(IEnumerable<TModel> WriteData) { var config = new CsvConfiguration(CultureInfo.InvariantCultur…

エクセルに比べれば外部のCSVを扱う処理はまだ悩むことが少ないだろうと油断していたところ、 先日かなり頭を悩ませたので戒めとして記録したいと思います。

JavaでCSVを読み込む方法を調べました。 最初は、SpringBootに組み込まれているObjectMapperで読み込めると思いましたが、ObjectMapperではCSV読み込みはできないようです。ですので、意図的にJacksonライブラリのCsvMapperを依存関係に含める必要があります。 この記事では、CsvMapperを利用してCSVファイルを読み込めるようにします。 ユースケース 巨大なデータの登録 APIがJSONではなくCSV形式で提供している場合 環境 Java 15 org.springframework.boot:spring-boot-starter-test 2…

PowerShellからCSVファイルを開いて内容にアクセスする方法を紹介します。以前はWindowsにはテキストのストリームを扱うツールがないため、awk やsed などUnix系のコマンドを使っていましたが、PowerShellでも簡単にアクセスができます。 // CSVファイル まずはテスト用のCSVファイルを用意します。1行目はヘッダです。 test.csv 種別,名前,口癖 イヌ, キャラメル, ワン リス, ジュン, あながち アリクイ, マコト, ホントに コグマ, ジャスミン, チャ 単純出力 PowerShell には Import-Csv というCSVを簡単に取り扱うための…

こんにちは、やもり（yamori-tech）です。 備忘録として「8桁のstr型数字 00000000 を pd.read_csv で読み込んだら 0.0 になる罠にハマった話」について書こうと思います。 結論としては、dtype=object を指定することで、空欄を維持したまま csv を読み込むことができます。 >|python| pd.read_csv('hoge.csv', dtype=object, encoding='utf-8') ||<

CSVファイルをADOで扱う連載の3回目です。前回の記事はこちらになります hirocom777.hatenadiary.org 意図しないデータ変換を防ぐ方法 前回は、ADOを使ってCSVファイルを開くツール（以下CSV_ReaderADO）の概略について説明しました。思っていたよりもシンプルだったんじゃないですか？ 今回はCSV_ReaderADO、というよりADOを使ってCSVファイルを開くときに、意図しないデータ変換を防ぐ方法をご紹介したいと思います。CSV_ReaderADOはこちらからどうぞ！！ 01_ADOでCSVを扱う.zip - Google ドライブ ファイルを開いて比べて…

今回は、アイテム保持ポリシーを動作させる際に動作する管理フォルダアシスタントについて記載したいと思います。 管理フォルダーアシスタントは、アイテム保持ポリシーに構成されたメッセージ保持設定を適用する Microsoft Exchange メールボックス アシスタントです。 この機能がワークサイクル (最大 7 日) に 1 度処理を行う事により、アイテム保持ポリシーによる保持タグの適用やアイテムの移動・削除が行われます。 アイテム保持ポリシーに保持タグを追加した場合も、管理フォルダアシスタントが動作したタイミングで適用されます。 最大で7日であるため、1日などワークサイクルが短い場合もあります…

scikit-learn を付属のデータセットを使用せずに理解しようと思い立ったものの、 「名前から性別を推測する」という何の役にも立たない例しか思いつかないうえに 文字列を含むCSVを読めば ValueError: could not convert string to float: '氏名'無理やり読み込んだ変数を fit に渡せば ValueError: could not convert string to float: '氏名' 解決策にたどり着くことができず… より正しい方法があるはずですが、今のところ下記の方法が精一杯。 import numpy as np from sklea…

目的は自己管理と習慣化 システム要件 完成図 必要なもの 運用コスト グラフ Goプログラム help ツイート検索 画像内のテキスト解析 解析結果の登録 これからやりたいこと pixelaで草を生やす 過去データ移行 GCP Secret Manager 対応 英語対応 風来のシレン5 Plus 対応 目的は自己管理と習慣化 リングフィットアドベンチャーは、家にいながらにして運動ができるという素晴らしいゲームです。 ただ一点、個人的に気になっていることがあります。それは、運動ログがソフトウェア内に閉じていることです。 もし出力することができれば、過去の実績や継続日数を記録として残し、PCやス…

npmの @wordpress/env を使うとメチャクチャ簡単にDockerでWP環境が作れました。 基本的に公式ドキュメント通りに設定するだけです。 ja.wordpress.org @wordpress/env をインストール # グローバルに入れるか npm -g i @wordpress/env # ローカルプロジェクトに入れる npm i @wordpress/env --save-dev WP環境の立ち上げ wp-env start おしまい なんですが個人的に必要な設定など 入れておくと便利な設定 .wp-env.json に設定を書きます { // ローカルのテーマを同期 "…

家の収支管理にFirefly iiiを使い始めて半年ちょい。 支出のトラッキングでしか使ってませんが自動で集計してくれるのはありがたい。 私のFirefly iiiを使ったキャッシュフロー確認 - paloma blog Fireflyは現金払いの集計、クレジット払いの集計は自作ツールという使い分けをしていましたが、Fireflyの方が何かと便利なのでこちらに集約して一本化したいと思います。 クレジットの集計ツールは昔作りました。 月次の支払い集計ツールを作る SQL準備編 - paloma blog クレジットの明細はcsvでダウンロード出来ますが、Fireflyには直接インポートはできない…

先日、原稿の表記統一が自動でできるスクリプトを書きました。表記統一ルールをCSVファイルで定めておけば、原稿の文字列をそのとおりに置換してくれます。 tekitoeditor.hatenadiary.com 上記スクリプトはそこそこ便利ではありますが、テキストファイルの原稿のみが対象だという弱点がありました。そこで今回、Wordファイルを対象にしたバージョンを新たに作成しました。 github.com 使い方は以下のとおりです。 （1）JupyterNotebookの実行環境を用意する （2）python-docxというライブラリをインストールする （3）tekitoeditor/w_unif…

こんにちは．最近はパソコンと向かい合っていることが多いです，綿谷雫です． 今日は退屈な作業をプログラムにして効率化を図ったのでまとめます． 退屈な作業の内容 ある画像データがcsv形式でいっぱい吐き出される．吐き出されたcsv形式のデータをimageJで開きたいが，imageJは数値だけのcsvデータしか受け付けてくれないので，最初の5行を消したデータを用意する必要がある．とはいえ消す行にも必要な情報があるので別名で保存したい． 以前やっていたこと csvファイルをマウスでクリックしてExcelで開く．開いたら1~5行選択して，別名で保存する． やろうと思ったきっかけ この本を読んでいたら毎回…

寝る前にベッドでKindle Paperwhiteを開き、一日の終わりに読書をするのが習慣として根付いている。 少しずつでも読み進めて、琴線に触れた部分をハイライトして、後で見返すのも面白い。 Kindleの便利な点として、mobi形式であれば、Amazonで購入したもの以外でも読んでハイライトができる点にある。 ファイルの転送方法なんかも比較的簡単に紹介されており、実際にこの機能はよく利用する。 www.kotorisha.co.jp 海外の著作権切れの書籍などはmobi形式で提供されていることも多く、また、pdf形式やepub形式のファイルをmobiに変換する方法なども調べると出てくるので…

LIFEの入力項目は 業者ソフトに反映されるので 厚労省DLのLIFEシステムはデータ送信用となる見込み。 その辺のデータの流れや CSVでどこまで動かすかを判りやすく説明できないものか？

退職後のおこずかいになればと、つもり預金で買っていたBTCとETH。 よく考えなくても、俺はもう老人なんだよね。 買い始めたのは随分と昔のような気がしていましたが、購入履歴を確認するとBTCを始めて購入したのは2017年6月で、そうでもなかった。マウントゴックス事件の時に買い始めていればね・・・これは死ぬまで言います。 少し前までは、全てのBTCを最後の半減期まで保有するつもりでしたが、老人モードに入ったのと利益がのっているうちにと、ポジションクローズを開始しました。 整理し過ぎて、もうわずかなBTCが顕微鏡でしか見えないレベルになってしまいました。 www.nikkei.com 保管している…

【要点】 ◎北朝鮮のサイバー攻撃組織 【目次】 概要 【別名】 【関連組織】 【辞書】 【概要】 【最新情報】 記事 【ニュース】 【ブログ】 【公開情報】 【資料】 【IoC情報】 【図表】 関連情報 【関連まとめ記事】 概要 【別名】 名称 命名組織 Lazarus Hidden Cobra 米国政府 Dark Seoul Labyrinth Chollima Group 77 Hastati (Group) Bureau 121 Unit 121 Whois Hacking Team NewRomanic Cyber Army Team Appleworm Guardians of Pe…

フリーランス国際協力師の原貫太です。 世界的にSDGs（持続可能な開発目標）が社会のスタンダードになり始め、ビジネスの世界でもCSV¹やESG経営²といった言葉があたりまえのように使われている昨今。 ポスト・コロナの世界では、企業とNPOをはじめとしたソーシャルセクターが手を取り合い、社会的なインパクトを生み出していく必要性がますます高まっていくはずです。 その一方で、ビジネスパーソンの中には「NPO法人という言葉自体は聞いたことあるけど、その実態について詳しくは知らない…」といった方も多いでしょう。 今回はNPOに関する、非常によくある誤解を4つ紹介します。この記事を読むだけでNPO法人に関…