CSV

select文により取得したデータの利用方法 コンピュータプログラムから利用する プログラミング言語からSQLをデータベースに投げてその結果を画面に出力する CSVファイルに書き出し、表計算ソフトに取り込む、 エクセル、Google スプレッドシートなど データをCSVに書き出す mysql workbenchなどのコネクタ/ドライバからCSVファイルを書き出しエクセル、 Google スプレッドシートに取り込む。 CSVとは * Comma-Separated Valuesの略 * 区切りもじであるコンマ「,」で区切ったテキストデータ CSVの例 id ,name price 1, 商品01…

検証用に作りました。もっとこうした方がいいよなどありましたら是非教えてください！:) 1. 何をしたいか まず、自分が何をしたかったのかを簡単に説明します。 ・S3にCSVをアップロードされたらLambdaを発火させる ・LambdaでアップロードされたCSVの全レコードを取得してRDS（MySQL）に一括挿入 2. Pythonコード ※RDS接続情報は本来機密情報なので、実際はべた書きしません ※pymysqlモジュールはLambda Layerに格納した前提です import json import boto3 import sys import csv import pymysql i…

こんにちは、UUUMシステムユニットの sawada_y です。 第2回オンラインハッカソンにて、シェルスクリプトを使用して月次作業を自動化したことについて発表させていただきました。その後、別の月次作業においてもGASを使用して自動化することができましたので、そのことについて書きたいと思います。 はじめに 自動化する前の作業内容 自動化した後の結果イメージ 要件 コード内容 最後に 参考にしたもの はじめに 担当業務の中で月次でGoogleDriveにあるcsvファイル(50~60位)をスプレッドシートに手動でアップロードするという、とても面倒な月次作業がありました。そこで、GAS(Googl…

はじめに CSVファイルを扱う仕事は結構な頻度でありますが、詳しく調べてみるとどうやらRFC4180という国際標準なCSV書式があることを知ったので引用を中心にまとめてみました。 RFC4180について 以下の記事がとても分かりやすかったので引用していきます。 www.kasai.fm レコードの区切りは改行(CRLF)であること ※ファイル最終行については改行アリでもナシでもOK！ ヘッダとレコードはコンマで区切られた一つ以上のフィールドを含み、各レコードはそれぞれ同じフィールドを持つこと スペースはフィールドの一部とする レコードの最後はコンマで終わってはならない フィールドがダブルクォー…

はじめに ASP.NET Core WebAPIでCSVとJsonの両方の出力が切り替えるサンプルを作ってみました。 今回はMediaTypeの値でcsvファイルとJsonの切り替えが行われるようにしています。 サンプルコード プロジェクトはASP.NET Core WebAPIテンプレートを利用しています。 WeatherForecastController.csファイル以外はデフォルトのまま特に変えていません。 [Produces("application/json", "text/csv")] [HttpGet] public ActionResult<IEnumerable<Weath…

どうも、ねこきち（@nekokichi1_yos2）です。 SQLにデータを登録する際、予めcsvを用意すれば、簡単に登録できます。 ですが、テキストファイルからcsvを生成すれば、もっと手軽です。 今回は、テキストファイルをcsvに変換する方法を備忘録として書きます。 実行環境 解説 テキストファイルを用意 拡張子をcsvに変換 ※補足：SQLに登録 参考 実行環境 ・MacBookAir(M1 2020)・MySQL 5.7.37 解説 テキストファイルを用意 例として、下記内容のtxtを用意。 # データ.txt 1,A,99 2,B,94 3,C,90 4,D,87 5,E,86 拡張…

現在鋭意制作中のM5 core2で貸出管理をするシステム、その名も「KASHIDASHI」ですが、 貸出のデータはSDカード内にCSV形式で保存・読み出しをするようにしています。 youtube.com C言語ならfscanfが使えるので、CSV形式のデータを読み出すのはそこまで大変じゃないでしょうが、 Arduino言語だとそんな便利なものはありません。 そこで今回は、M5Stack(Core2)でArduino言語を使って、CSV形式のデータを要素ごとに読み出す方法についてまとめていこうと思います！

仕事はGoogle Cloudの取り扱い, 個人開発は野球のデータ分析基盤を作ることに一生懸命な人です. 最近はプロ野球もメジャーリーグも推しチームを観るのが辛いです*1. 趣味, いわゆる「個人開発」でやってる野球データサイエンスでSparkを楽して使うため, 久々にDataprocを使っているのですが, インスタンスを建てたり消したりするのに, Terraformを使ったが案外ハマった DataprocのJupyter Lab（もしくはJupyter notebook）上でBigQueryを使うのにもハマった という事態に陥りました. これは無事解決して「ああなるほど」と個人的には解決して…

ノック99: インタラクティブなグラフを作成してみよう person_count_out_001_2021011509.csvファイルを読み込んで折れ線グラフを表示します。 plotlyモジュールをインストールします。 pip install plotly 折れ線グラフを表示します。 import pandas as pd import plotly.express as px df = pd.read_csv('data/person_count_out_0001_2021011509.csv') fig = px.line(x=df['receive_time'],y=df['in1'])…

そもそもこの記事について 以下の書籍の4-6の文章生成に挑戦したときの記憶です。 www.borndigital.co.jp 2022/5/20より長いことやったりやらなかったりしているため、記憶が薄れつつある箇所もございます。なお、あくまでも私の環境で発生したことしか記憶していないのでご容赦ください。 そもそもこの記事について そもそも サンプルコード 実行環境 本題：生じた問題の記憶 from transformers import T5Tokenizer, AutoModelForCausalLMのインポートができない 処置 AttributeError: module 'dill._d…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,769件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

最近、『Rによるやさしい統計学』を読みながらR言語とRStudioに触れており、基本的なRStudioでのファイル読み込みやデータの抽出などでつまづいたいくつかの点をまとめる。 以下のコマンドはMac OS上でRStudioを操作する場合のものであることをご了承ください。 エラーメッセージの言語を英語にする consoleで以下を実行 Sys.setenv(LANG="en") せっかく日本語で表示されるのはいいのだけれど、出力されるエラーメッセージを検索するなら英語の方がGoogle検索しやすいので英語に設定する。 検索するほどRを使えていないのだけれど、今後のためにも。 現在のディレクトリ…

お疲れ様です。コーヒーです。 今回は「Digdagって何？」って人でも一から実践で使えるようになるまでのトレーニング方法となります。 トレーニングの流れとしては以下のようになってます。 Digdagについて調べる Digdagのインストール Digdagの簡易実行 Digdagのサンプルプログラムの理解 DigdagとEmbulkを組み合わせ Digdagでの変数の使用 こちらの内容を全て完了するころには、Digdagをある程度使いこなせているはずです！ ぜひ最後まで挑戦してDigdagをマスターしてください！ 1.Digdagについて調べる Digdagとは何かを調べなくては始まりません。 …

目的 必要なもの 手順 画像取得時の注意点 重なっていない画像の例 重なりすぎてどうにもならない画像の例 下準備 画像中の長さの設定 グレースケールに変換 背景の明るさの調整 画像分析 領域分割(Trainable Weka Segmentation) 二値化(threshold) 粒子の穴を塞ぐ(close) 繋がっている粒子を分割する(watershed) 粒子の分析 目的 粒子のSEM像から粒度分布を取得したい．そのためにまず画像から粒子を抽出する． 必要なもの 粒度分布を知りたい粒子の(SEM)画像 ImageJ fiji 手順 以前に粒子画像を自動で分析する方法を投稿したが，今回の画…

var jsonData = []; //変換機能 function csv2json(csvArray) { var jsonArray = []; // 1行目から「項目名」の配列を生成する var items = csvArray[0].split(','); items[items.length - 1] = items[items.length - 1].trim();//「項目名」の配列の最後に入る半角スペースを取り除く // CSVデータの配列の各行をループ処理する //// 配列の先頭要素(行)は項目名のため処理対象外 //// 配列の最終要素(行)は空のため処理対象外 for…

早々に猛暑日が出てしまった2022の日本です、つらいですね. ショートカット Apple 仕事効率化 無料 ※価格は記事執筆時のものです. 現在の価格はApp Storeから確認ください. レビュー時のiOSバージョン ： iOS15.5 スポンサーリンク // 暑さ指数とは データを引っ張ってくるとどうなるか レシピ 実行 〆 暑さ指数とは www.wbgt.env.go.jp 「暑さ」の指標は普通の気温以外にも体感温度や不快指数などがあり、それとはまた別に「暑さ指数」というものがあります. 熱中症を予防することを目的として作られた指標で、気温以外に湿度と周辺の熱環境を考慮した値となっていま…

データ分析をする時にもPythonは便利です。 Excelでできるようにフィルタ、ソートなどの整形、グラフ化だけでなく、機械学習などの応用もできますし、Excelで取り扱えない100万行以上のビッグデータの解析にも活用できます。 使用するデータ ソースコード紹介 結果 少し解説 read_excel() read_csv() 使用するデータ 総務省統計局が出している人口推計のデータを使用します。 2022年6月のデータは以下からダウンロードできます。 人口推計 各月1日現在人口 月次 2022年6月 | ファイル | 統計データを探す | 政府統計の総合窓口 ソースコード紹介 # パッケージの…

Hello there, ('ω')ノ 大企業から5.2kの顧客データをどのように漏らしたかを。 脆弱性： 壊れたアクセス制御 記事： https://infosecwriteups.com/how-did-i-leak-5-2k-customer-data-from-a-large-company-via-broken-access-control-709eb4027409 今回は、数か月前に見つけた脆弱性について。 この脆弱性は、社内の顧客やサプライヤを直接標的にしており。 大手スキンケア会社のサブドメインでもあって。 最初に、crt.shを使用していて、他のサブドメインへのハッキングの試…

決定的スクリーニング計画専用webツール（無料） webツール開発の背景と本記事の内容 使用方法（簡単に） 計画作成 モデル構築 最適化 あとがき DSDAppはこちら 決定的スクリーニング計画専用webツール（無料） こちらです→DSDApp webツール開発の背景と本記事の内容 決定的スクリーニング計画（Definitive Screening Design, 略してDSD）とは、2011年にJonesとNachthiemによって提唱された実験計画法であり、3水準の実験を2×要因数+1~5回の試行回数で終了させることが出来る画期的な手法です（例: 要因数=6の場合、6×2+1=13回が最小…