CSV

Copy codeimport numpy as np # (640, 480) のアレイを作成data = np.random.rand(640, 480) # numpy アレイを csv ファイルに保存np.savetxt('data.csv', data, delimiter=',') 上記のプログラムで、numpyアレイのデータを「data.csv」という名前でCSVに保存することができます。データはカンマ区切りで保存されます。

検証した環境 ExcelのワークシートをCSV形式を指定して保存することができるが・・・ PowerShellを経由してCSVの項目をダブルクォーテーションで囲む PowerShell 7.2以降ならもう少し柔軟に設定可能 参考 ExcelでCSV形式で保存したファイルをダブルクォーテーション付きに変換するための備忘録です。 検証した環境 Windows10 Excel 2019 WindowsPowerShell 5.1 ExcelのワークシートをCSV形式を指定して保存することができるが・・・ Excelブックを保存するときにファイルの種類をCSV(コンマ区切り)とすることでアクティブなシ…

Excelの便利な機能として、並べ替えがある。データベース機能を使って表のなかの任意の列をキーとして選び、そのキー列の内容を昇順、降順などに並べると同時に、行を１つのデータレコードとみなして、一緒に並べ替えてくれる。 blog.houkoku-doh.com この並べ替えのキー列の順序だが、数字やアルファベットなどについては、そのままで実にきれいに並べてくれる。また、ユーザー設定リストとして、月や曜日、干支などがデフォルトで設定されているので、活用できる。 この並べ替えの機能も進化していて、日本語についてもひらがなは当然のこと、いまでは漢字もExcel入力時のタイピングを「ふりがな記録」として…

承前 ここまで10回 + おまけ1回の記事を読んでくださり、1世紀……いえ、1週間でしたか、それくらいの期間にわたるお試し活用をしたことで、テキストデータを作る方法のひとつである「テキストエディタを活用した文章などの記録」に関する基礎的な技が習得できたと信じています。まだテキストエディタを3分しか開いていない方は、少なくとも30分くらい遊んでみてください。すると明日のご飯が真鯛の刺身になります。高級なものはなかなか食べられませんが、近所のスーパーには養殖真鯛のサクが数百円くらいで並んでいたりします。九州は真鯛が全国よりも安いらしいのですが、詳細を調べたことはないので地域価格差を調べてみたいです…

M式言語で複数の表を合体させたい M式言語ではTable.Unionではなく、Table.Combine 複数のテキストやCSVデータを合体する 複数のテキストやCSVデータを合体しつつさらに新しいカラムを追加する 複数のテキストやCSVデータを合体しつつさらに新しいカラムを追加する 指定したカラムだけを抽出する 終わりに 参考 M式言語で複数の表を合体させたい ある大量のログファイルを全て合体させなくてはならない場面に遭遇しました。 そのログファイルは全部同じ項目で構成されたテキストファイルでした。 こんなときこそM式言語の出番！！ というわけで同じファイル、つまり表を合体させるときのM式言…

CSV ファイルって何よ CsvHelper CSV ファイルを一行ずつ読み込む 複数行をまとめて読み込む CSV ファイルの書き込み ヘッダーのマッピング フィールドのバリデーション BOM 付きにする

11/5追記：PDF解析に使うPDFMinerの使い方、一部修正 PDFMiner使い、東証株式相場表（日報、PDF）からデータ抽出し日別CSVにする 恥ずかしながらのPyhtonスクリプト MySQLへ放り込むまで三つのステップ 11/5追記：PDF解析に使うPDFMinerの使い方、一部修正 Python:「PDFMiner」と「PDFMiner.six」で東証株式相場表を解析 PDFMiner使い、東証株式相場表（日報、PDF）からデータ抽出し日別CSVにする 一度公開したものの、拾いきれてないデータがあったり、エラーが出だしたりして、スクリプト公開やめてました。 その後、必死の努力（効…

ADのグループ ポリシー設定をCSV、Excelにエクスポートする情報を探しているのですが、こちらに情報がありました。 海外のマイクロソフトのフォーラムにありました。 質問の抜粋です。 Microsoft GPMC サンプル スクリプトをインストールし、コマンド「cscript GetReportsAllGPOs.wsf」を使用して、ドメイン内の GPO のすべてのリストを取得しました。ご存知のように、上記のコマンドはすべての GPO ファイルをドメイン内の各 GPO の HTML および XML バージョンとしてエクスポートします。xml ファイルを Excel にエクスポートして、データを…

今回の目標 備考 API_Key SteamID 指定したユーザーが持っているゲームの取得 appidからゲームの情報の取得をする 複数のappidからゲーム情報を取得できそうなんだけど……？ 今回使いそうなのは…… 今後やりそうだけど今回はやんなかったやつ 参考 今回の目標 SteamAPIを使う 所持ゲームの一覧を作る 備考 ゲームの紹介をすることになったので、身内向けレビューを作る API_Key ぐぐって。 いつとったのか記憶になかったけど私は持ってた。 SteamID Steam ID Finderとかで取得できる。steamID64の10進数のものを使って動かした。 指定したユーザ…

いつも STORES をご利用いただきありがとうございます。このたびネットショップ開設サービス「STORES」と、POSレジアプリ「STORES レジ」を利用する全てのオーナーさまを対象に、開発パートナーが作成したアプリケーションの公開を開始させていただくことになりました！ また、同時に「STORES」と「STORES レジ」の両方のオーダー（注文情報）が扱える「フルオーダー参照API」と「フルオーダー更新API」も新たに提供開始いたします。 できること 「フルオーダー参照API」と「フルオーダー更新API」について STORES 開発パートナーへの参加方法・各種ドキュメント できること 以前…

本日2/8(水) 08:10、summary_by_date.csv等更新されました。今日の2021/4/12の接種数は4,716だそうです。https://data.vrs.digital.go.jp/vaccination/opendata/latest/summary_by_date.csvhttps://data.vrs.digital.go.jp/vaccination/opendata/latest/summary_by_prefecture.csvhttps://data.vrs.digital.go.jp/vaccination/opendata/latest/prefectu…

sed -i -e 's/"//g' hoge.csv

pyscriptを使うと簡単にwebページでレスポンシブ対応の 表示ができるらしいの、pandasのデータフレームを表示してみました。 なかなか、DFを表示するだけのサンプルがなくて、エラーの連続でしたが、 色々なサイトを 見て、以下のコードで動かすことができました。 id="csv"でElement("csv")と関連付けるのが重要でした。 表示は結構遅いですが、ローカルサイトの中でサービス場合なら ユーザも待ってくれそうな感じですが、 本番環境で使うにはもっと早く処理されないと、待ち時間がストレスで 使えなさそうです。 ---------------------------sample.h…

Excelのデータベース機能を使って、大量のデータレコードをあつかい、シミュレーションを行うことがある。人事屋さんでいえば、従業員の人事データや給与データをシステムからCSVファイルでダウンロードし、さまざまな条件を設定し、結果を見てみるといった具合だ。 とくに給与や人件費の総額が、条件によってどのように変化するなどといった計算は、制度を検討する上で欠かせないものである。 blog.houkoku-doh.com そんなときに重宝する関数がある。SUBTOTAL関数である。この関数、どのように重宝するかというと、こういった具合だ。 通常データベース機能では、１行ごとにデータがならんでいるので、…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,744件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

５ シラバス5.0用語集 １ SRI（Socially Responsible Investment） 社会的責任投資と訳され、企業への投資を行う際に、従来から投資基準となっていた経済・財務的な分析に加えて、CSR（企業の社会的責任）への取組みを考慮する投資手法である。 社会や環境面への配慮、倫理的に取り組む企業を投資家や株主の力によって後押しすることで、企業にCSR活動を求めていく。近年ではESG投資と同じ意味で使われることもある。 ２ データ駆動型社会 モノとインターネットが繋がるIoTの進展に伴い生まれた言葉で、IoT化などにより得られた莫大なデータを解析し、現代社会に役立てようとする試…

LDIで開発しているOKです。 前回に続き k6 ついて書きます。 今回はよりサーバの負荷試験を意識して、複数のAPIをそれぞれ別の rps (Request / Seconds)で負荷をかける際のやり方です。 実際に動いているサービスだとAPI毎に負荷って違いますよね。 「API①もAPI②も全部 10rps です」なんて事は無いと思うので、 そういった時の書き方です。 K6 環境構築 前回 の環境に加えて、 mix.js を追加しています。 k6Demo/ - docker-compose.yml - src/ - get.js - post.js - mix.js - env/ - st…

レポハピとは？レポハピとは、サイト上にお店の情報や取材記事を掲載したり、ターゲット層となるユーザーに直接アタックできるサービスです。お店のファンになってほしいあなたに、超優待の招待状が届きます。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすい人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99％のWebスクレイピングを満たします。ScrapeStormにより、大量のWebデータを素早く正確的に取得できます。手動でデータ抽出が直面するさまざまな問題を完全に解決し、情報取得のコ…

少し前にwhisper.cppについて書いた shinshin86.hateblo.jp 今回はWhisperを利用して文字起こししてくれるMacアプリが出たらしいので、そちらを試してみる。 目次 目次 MacWhisperのダウンロード方法 MacWhisperを使ってみる [Beaglesの宣伝タイム] Beaglesのblue blueの歌詞の文字起こしを試してみる Reader機能 クリップボードへの貼り付け エクスポート機能 無料版での課題 MacWhisperのダウンロード方法 App Storeのリンクがこちら Whisper TranscriptionGood Snoozeユー…