CSV

select文により取得したデータの利用方法 コンピュータプログラムから利用する プログラミング言語からSQLをデータベースに投げてその結果を画面に出力する CSVファイルに書き出し、表計算ソフトに取り込む、 エクセル、Google スプレッドシートなど データをCSVに書き出す mysql workbenchなどのコネクタ/ドライバからCSVファイルを書き出しエクセル、 Google スプレッドシートに取り込む。 CSVとは * Comma-Separated Valuesの略 * 区切りもじであるコンマ「,」で区切ったテキストデータ CSVの例 id ,name price 1, 商品01…

検証用に作りました。もっとこうした方がいいよなどありましたら是非教えてください！:) 1. 何をしたいか まず、自分が何をしたかったのかを簡単に説明します。 ・S3にCSVをアップロードされたらLambdaを発火させる ・LambdaでアップロードされたCSVの全レコードを取得してRDS（MySQL）に一括挿入 2. Pythonコード ※RDS接続情報は本来機密情報なので、実際はべた書きしません ※pymysqlモジュールはLambda Layerに格納した前提です import json import boto3 import sys import csv import pymysql i…

こんにちは、UUUMシステムユニットの sawada_y です。 第2回オンラインハッカソンにて、シェルスクリプトを使用して月次作業を自動化したことについて発表させていただきました。その後、別の月次作業においてもGASを使用して自動化することができましたので、そのことについて書きたいと思います。 はじめに 自動化する前の作業内容 自動化した後の結果イメージ 要件 コード内容 最後に 参考にしたもの はじめに 担当業務の中で月次でGoogleDriveにあるcsvファイル(50~60位)をスプレッドシートに手動でアップロードするという、とても面倒な月次作業がありました。そこで、GAS(Googl…

はじめに CSVファイルを扱う仕事は結構な頻度でありますが、詳しく調べてみるとどうやらRFC4180という国際標準なCSV書式があることを知ったので引用を中心にまとめてみました。 RFC4180について 以下の記事がとても分かりやすかったので引用していきます。 www.kasai.fm レコードの区切りは改行(CRLF)であること ※ファイル最終行については改行アリでもナシでもOK！ ヘッダとレコードはコンマで区切られた一つ以上のフィールドを含み、各レコードはそれぞれ同じフィールドを持つこと スペースはフィールドの一部とする レコードの最後はコンマで終わってはならない フィールドがダブルクォー…

はじめに ASP.NET Core WebAPIでCSVとJsonの両方の出力が切り替えるサンプルを作ってみました。 今回はMediaTypeの値でcsvファイルとJsonの切り替えが行われるようにしています。 サンプルコード プロジェクトはASP.NET Core WebAPIテンプレートを利用しています。 WeatherForecastController.csファイル以外はデフォルトのまま特に変えていません。 [Produces("application/json", "text/csv")] [HttpGet] public ActionResult<IEnumerable<Weath…

どうも、ねこきち（@nekokichi1_yos2）です。 SQLにデータを登録する際、予めcsvを用意すれば、簡単に登録できます。 ですが、テキストファイルからcsvを生成すれば、もっと手軽です。 今回は、テキストファイルをcsvに変換する方法を備忘録として書きます。 実行環境 解説 テキストファイルを用意 拡張子をcsvに変換 ※補足：SQLに登録 参考 実行環境 ・MacBookAir(M1 2020)・MySQL 5.7.37 解説 テキストファイルを用意 例として、下記内容のtxtを用意。 # データ.txt 1,A,99 2,B,94 3,C,90 4,D,87 5,E,86 拡張…

現在鋭意制作中のM5 core2で貸出管理をするシステム、その名も「KASHIDASHI」ですが、 貸出のデータはSDカード内にCSV形式で保存・読み出しをするようにしています。 youtube.com C言語ならfscanfが使えるので、CSV形式のデータを読み出すのはそこまで大変じゃないでしょうが、 Arduino言語だとそんな便利なものはありません。 そこで今回は、M5Stack(Core2)でArduino言語を使って、CSV形式のデータを要素ごとに読み出す方法についてまとめていこうと思います！

【 株主提案 ＞ 会社側提案 】 2022/6/23、フューチャーベンチャーキャピタルの会社側の全提案議案が否決され、株主提案が承認された。https://www.fvc.co.jp/item/ir/sites/3/b71c8961bcc4d2bf7e74c5182ab49268.pdf 以下は、日経電子版の「FVC総会、個人株主の支持で明暗 新旧社長に聞く」からの一部抜粋。https://www.nikkei.com/article/DGXZQOUF23CSV0T20C22A6000000/ 新社長の金武偉氏「個人でも変化起こせる」 ――自身の持ち株比率は2.5%でした。「組織票のない個人株…

＜雑誌＞ 構成を担当している『NHK短歌』の穂村弘さんの対談連載「あの人と短歌」、今月号からご登場いただくゲストは、哲学研究者の永井玲衣さんです。 「自分の中で、哲学と詩歌はつながったものとしてある」という永井さんと、「かつて哲学者に憧れていた」という穂村さん。哲学的思考と韻文との関係に迫る全3回です。 永井さんのエッセイ集『水中の哲学者たち』（晶文社）とあわせて読んでいただけると、より深く味わえるのではないかと思います。 www.nhk-book.co.jp ＜web＞ KIRINのオウンドメディア「KIRINto」で、長野県上田市丸子地区陣場台地に広がるシャトー・メルシャンのブドウ畑「椀子…

前回まではゆっくりボイスを一括で挿入できる台本について解説しました。 台本の作成方法はCSV、TXT、TSVで作成できて自身の作りやすい方法で作ればいいと思います。 で、今回は台本の解説を終了してデフォルトの設定について解説していきます。 デフォルトの設定とは動画や画像、ゆっくりボイス、図形アイテムなど様々なアイテムを挿入した時に表示されるデフォルト状態を変更する方法です。 これをしておくとデフォルトでは「X:0」「Y:0」となっている動画を「X:100」「Y:100」といった感じに初期表示位置を変更することができます。 それでは解説していきます。 デフォルトの設定 デフォルトの設定方法って何…

専属トレーナーによるマンツーマン指導が受けられるパーソナルジムで予約管理・顧客管理が自動化する予約システムを導入すると、どのようなメリットがあるのでしょうか？ 今回の記事ではパーソナルジムに注目し、予約システムの導入メリットを解説したうえでおすすめのシステムをいくつか紹介して比較します。 業務効率アップと顧客満足度アップを目指すパーソナルジム関係者は、ぜひご一読ください。 パーソナルジムに予約システムを導入するメリット ①予約情報や顧客情報の管理が容易になる ②トレーナーは指導に集中できる ③顧客の利便性が向上する パーソナルジムにおすすめの予約システムを比較 STORES 予約 Airリザー…

本日6/27(月) 08:05、summary_by_date.csv更新されました。今日の4/12は4,703だそうです。https://data.vrs.digital.go.jp/vaccination/opendata/latest/summary_by_date.csvhttps://www.kantei.go.jp/jp/content/vaccination_data5.xlsx全国のワクチンの接種状況 日次推移グラフhttps://info.vrs.digital.go.jp/dashboard 4,703、連続9回目、通算16回目、本日は内訳も変化無し。 nsugi03122…

VBのアプリ内の計算をエクセルで手軽に確認したい 王道はエクセルを開いて書き込みますが、意外と面倒です。そこで、下記のようにstreamwriterを使って、,(コンマ)でデータが区切られたcsvファイルを出力すれば、エクセルでファイルを開くことが出来ます。 Dim i as integer Dim ar(19,4) as double 'データ出力用の一次元配列の定義 Dim Path As String 'ドライブ等のパス用 Path = “C:\SDK\2D\” 'CドライブのSDKのフォルダ内の2Dのフォルダ内に保存 Dim FileName As String FileName = …

仕事はGoogle Cloudの取り扱い, 個人開発は野球のデータ分析基盤を作ることに一生懸命な人です. 最近はプロ野球もメジャーリーグも推しチームを観るのが辛いです*1. 趣味, いわゆる「個人開発」でやってる野球データサイエンスでSparkを楽して使うため, 久々にDataprocを使っているのですが, インスタンスを建てたり消したりするのに, Terraformを使ったが案外ハマった DataprocのJupyter Lab（もしくはJupyter notebook）上でBigQueryを使うのにもハマった という事態に陥りました. これは無事解決して「ああなるほど」と個人的には解決して…

管理者により [コンテンツの検索] にて、削除対象となる予定表アイテムを対象とした検索条件で抽出、確認したのち、PowerShell コマンドレット "New-ComplianceSearchAction" を実行し、予定表アイテムの削除を行う方法があります。 それにより、複数のアカウントの同一件名の予定表アイテムを一括で削除することが可能でございます。 ご留意いただく点として、[コンテンツの検索] で検索したアイテムがすべて削除されるため、検索条件にて、削除する予定表アイテム以外が含まれないように指定する必要があります。 そのため、対象の予定表アイテムの件名などで指定し、PST ファイルにエ…

ノック99: インタラクティブなグラフを作成してみよう person_count_out_001_2021011509.csvファイルを読み込んで折れ線グラフを表示します。 plotlyモジュールをインストールします。 pip install plotly 折れ線グラフを表示します。 import pandas as pd import plotly.express as px df = pd.read_csv('data/person_count_out_0001_2021011509.csv') fig = px.line(x=df['receive_time'],y=df['in1'])…

そもそもこの記事について 以下の書籍の4-6の文章生成に挑戦したときの記憶です。 www.borndigital.co.jp 2022/5/20より長いことやったりやらなかったりしているため、記憶が薄れつつある箇所もございます。なお、あくまでも私の環境で発生したことしか記憶していないのでご容赦ください。 そもそもこの記事について そもそも サンプルコード 実行環境 本題：生じた問題の記憶 from transformers import T5Tokenizer, AutoModelForCausalLMのインポートができない 処置 AttributeError: module 'dill._d…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,769件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

最近、『Rによるやさしい統計学』を読みながらR言語とRStudioに触れており、基本的なRStudioでのファイル読み込みやデータの抽出などでつまづいたいくつかの点をまとめる。 以下のコマンドはMac OS上でRStudioを操作する場合のものであることをご了承ください。 エラーメッセージの言語を英語にする consoleで以下を実行 Sys.setenv(LANG="en") せっかく日本語で表示されるのはいいのだけれど、出力されるエラーメッセージを検索するなら英語の方がGoogle検索しやすいので英語に設定する。 検索するほどRを使えていないのだけれど、今後のためにも。 現在のディレクトリ…