CSV

さて、本日は CSV ファイルを SQLite にインポートしてみようと思います。前回のエントリーで「交通事故統計情報のオープンデータ」のコード表を CSV に変換してみました。本エントリーではその CSV を SQLite にインポートしてみようと思います。 PDF を CSV に変換する方法について興味のある方はぜひ前回のエントリーを読んでみてください。 www.gis-py.com また、以下のエントリーで SQLite に関して書いていますので、こちらも興味がありましたらぜひ読んでみてください。 www.gis-py.com 対象データ 前回のエントリーで出力した CSV です。 これ…

正規表現で列が５個のtsvの各項目をキャプチャする文字列 ^([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)$ ※サクラエディタ onigmoで動作確認済 キャプチャすればいろいろと活用できる。 [^\t]はタブ文字以外の文字列ということ。*がついているので、「タブ文字以外の文字の０回以上の繰り返し」となる。 括弧を付けているので変数にキャプチャされる。 詳しいことは後述の書籍をご覧いただきたい。 ●１列目を削る場合は以下に置換 $2\t$3\t$4\t$5 ↓置換結果 ●５列目を先頭に持ってくる場合は以下に置換 $5\t$1\t$2\t$3\t…

Miアドレス帳への登録って地味に大変な作業です！ それをエクセルを使って簡単にやってみましょう！ 手順は簡単で、 ①エクセルに名前・連絡先等入れたい情報をまとめる ②CSV（カンマ付き）に変換 ③アドレス帳へインポート この3ステップです⭐︎ ■エクセルデータを作成しよう エクセルデータを作成するのポイントは1つ！ 画像のようにデータを作成します。 水色の部分に、その下に書く内容が何のデータかを定義します。（下にどんな種類があるかを書いていますのでご確認ください。） 完成しましたら、CSVで書き出してください！ そのデータを、google contactのインポートで選択してください！ 電話帳…

CSVダブルクォーテーション復活 こんにちは、管理人の@Salesforce.Zです。 CSV ファイルの編集で、ダブルクォーテーションが失われてしまう問題について、復活させる方法を共有します。 (adsbygoogle = window.adsbygoogle || []).push({}); 読んだら得ること ★ CSV のダブルクォーテーションを復活させる方法 目次 問題 対策 テキストエディタの対策 問題 なにかしら、CSV ファイルの編集で、ダブルクォーテーションが失われてしまう 仕事上では、いやなパターンですね。 そこで、自分のやりかたを共有します。 対策 テキストエディタの対策 …

前書き みなさまこんにちわ。技術統括部s-izuです。 本記事ではAWS CLIでAWS上のアセットを一覧取得する方法について解説いたします。 AWSなどのクラウドを組織で利用するとインスタンスが乱立しがちです。簡単に作れて簡単に消せるのがクラウドの利点だから仕方ないのですが作りっぱなしで消さずにインスタンスをそのまま放置という事例をよく目にします。作ることは簡単でも消さなきゃならないことを覚えておくことは人間には難しいからです… またインスタンスは資産管理の対象となりづらいです。なぜならオンプレミス機器のように購入してから運用されるまでのプロセスにおいて台帳に記録されることは考えにくいからで…

Excel-CSV操作テンプレートの提供および使い方のトレーニングをセットにしたメールベースコースを立ち上げました。 詳しく知りたい方は https://www.info-advisor.com/excel-csv/>excel-csv操作テンプレートマスター講座

import java.io.File; import java.io.FileWriter; import java.io.FileReader; import java.io.BufferedReader; import java.io.InputStreamReader; import java.io.*; import java.util.List; import java.util.Arrays; import java.util.ArrayList; import java.util.LinkedList; class ConsoleLoginEntry{ public stati…

import java.io.BufferedReader; import java.io.IOException; import java.nio.charset.Charset; import java.nio.file.Files; import java.nio.file.Path; import javax.swing.JFileChooser; import javax.swing.JFrame; import javax.swing.JMenu; import javax.swing.JMenuBar; import javax.swing.JMenuItem; import j…

■[JavaFX]csvファイルをTableViewに表示するプログラム import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.InputStreamReader; import java.util.Optional; import java.util.StringTokenizer; import javafx.appl…

今回のテーマ今回はCSVを読み込んで、そのままExcelに書き込むサンプルを紹介します。サンプルスクリプトこのままでは当然Excelを開いて読み込んだのと同じです。 しかし、一度プログラムでセルを解析していますので、書き込み時に自由に手を加えることが可能です。列幅を調整したり、列の並びを変えたり、数値を加工したり特定の列同士の合計の列を加えたりと様々な加工を読み込み時に加えられるのがメリットです。 const DQ = """" 'ダブルクォート const Delimita = "," const HeaderLine = 1 set fso = CreateObject("Scriptin…

前回の記事 今回の内容 契約 ファイルの取得Path 日証金融資・貸株残高データと逆日歩銘柄一覧データ JSON形式も存在する KABU+ 前回の記事 前回は、KABU+ の紹介をし、KABU+が採用するデータ配布手段である WebDAV について調べた。 how-to-make-stock-trading-system.dogwood008.com how-to-make-stock-trading-system.dogwood008.com 今回の内容 実際に KABU+ を契約し、いろいろ試したことで、契約前と後での気づきをまとめる。 契約 契約自体は簡単であった。プランを選択し、Pay…

2020-11-29更新 API制限を受けずにデータを取得するには、WebDAVを使うだけではなく、共有フォルダ一括同期ツールの使用が必要である事が明記されていた。つまり、本記事に従ってWebDAVでアクセスしても、規約を満たさない過剰アクセスとなる可能性がある。下記はその前提で読み進めていただきたい。 概要 KABU+で提供されるCSVは、WebDAVを使用することにより共有フォルダ一括同期ツールを使用することによりAPIの呼び出し制限回数にかかわらず呼べるようになる。 ここでは、WebDAVを使って、RubyでCSVを取得するサンプルを紹介する。 Rubyを選んだ理由 Rubyを選んだのは…

こんにちは RYO です 「絶対に挫折しないプログラミング文法」では 例えを用いてわかりやすく説明し、 どんな方にでも絶対に挫折せずに Pythonの基本の操作を学べる内容なっていますので是非最後まで読んでみてください！ なお、Google Colablatoryを用いて実際にコードを書きながら学ぶので Google Colablatoryの用意ができていない方は、５分足らずで用意できるのでpython-lesson-ryo.hatenablog.com上記を参考に用意してみてください！ それでは始めて行きましょう！ 絶対に挫折しない プログラミング文法（４－２） ライブラリを使ってみる！ ラ…

久しぶりのブログ投稿です。最近データの可視化にgrafanaをよく使っているのですが、 csvデータを可視化するプラグインを見つけたので試してみました。 github.com 環境はDebian10.7です。 1.grafanaの環境構築 以下のコマンド一発でcsvプラグイン込のgrafanaをdockerで立ち上げます。 #docker run -d -p 3000:3000 --name=grafana -e "GF_INSTALL_PLUGINS=marcusolsson-csv-datasource" -v /home/user/docker:/home grafana/grafana…

くもを（🐦） ツイートURL:https://twitter.com/1325863115196522500/status/1352995947647741953 ツイート:google apps scriptはプログラミング初めての人におすすめ、すぐ動くから楽しいよ！ この自動ツイートはgoogle apps scriptを使用してます。#googleappsscript #駆け出しエンジニア0:05 (自動ツイートです) ラーメン食太郎（🐦） ツイートURL:https://twitter.com/1006903480055840800/status/1352982756108603392…

特色 WitEからの機能強化／変更点 ３つのフルマップキャンペーン：・1941-45 キャンペーン（1941年6月22日 - 1941年8月1日）・スターリングラードからベルリンへ（1942年11月19日 - 1945年7月4日）・ヴィスワからベルリンへ（1945年1月13日 - 1945年6月1日） ７つの小規模な作戦級シナリオ： ・ヴェリキエ・ルーキ '42 （1942年11月17日 - 1943年 1月25日） この重要な鉄道結節点を奪還するためのソビエトの反撃 ・ミンスクへの道 （1941年 6月22日 - 1941年 7月 2日） 中央軍集団によるドニエプルへの突進 ・レニングラード…

こんにちは。働き出してから早９年（多分）、いまだに自分って具体的なスキルないよなーと思い、プログラミングの勉強を昨年あたりからやってます。言語については業務でもAIだのなんだと騒がれだしたこともあり、とりあえずPythonやっとくか！みたいなノリで本を数冊買って、ゴニョゴニョとコードを書いたりして遊んでました。勉強したことは実践してこそ意味をなすとの信条なので、私にとって役立つツールをちらほら作成していこうと思います。あくまで自分が役立てば良いので、とってもきたないルール知らずのコーディングです。あらかじめご了承ください。そんなわけで、趣味である米国株投資に役立つツールを検討し、今回は投資先の…

iPadで絵を描く練習 作業報告 以下の機能の作成を行いました！ ゲーム自体のコンティニュー機能とそのUI 敵選出機能 スキルのデータ作成（＆CSVからScriptableObjectを作成する汎用的なインポーター） ゲーム部分のチュートリアル用シナリオとかUIとか キャラクターのイラストとか セーブ画面の仮UI と、言ってもどういうゲームか全然伝えて無いのでなんのこっちゃって感じですね。 UI自体はまだ仮もいいとこなんですが、機能としては汎用的な他ゲーでも使えそうなのを作っていけているはず。 だいたいこういうのは他のゲームでも使おうとした時に欲が出て作り直すんですが。 ゲームサイクルとしても…

コンバンワ(・∀・) 作成途中の「PC Engineリスト」です。 リストのフォーマットは、発売日、タイトル、販売、ジャンル、メディア（HuCARD、SG、CD）、容量（メガビット）、プロダクトID、価格（発売当時）を記載してあります。 情報が多くても仕方ないので、開発、著作は記載しておりません。 例えば「イースI・II」だったら発売「ハドソン」、開発「アルファ・システム」、著作「日本ファルコム」になりますが、個人的には必要な情報ではなかったりします(-_-;) まぁ、そういう理由から記載していません。 テスト ver.（2021/01/25まで公開） https://marble88mk5.…

こんにちはgreenです。 皆さんはツイッターをしてますか？そして、つぶやいてますか？私はツイッターをしていますよ！そして、つぶやいています！ 今回の記事では、「いいね」が多いツイートと紹介した記事のクリック回数が多いツイートの内容を比較します。そんな内容です。 // 1週間に3回のツイートは少ないな、だからフォロワー数が減るばぶー👶 #おは戦 に参加してやる😢 今回の記事では、Twitterアナリティクスを利用して、最近ツイートしたもので「いいね」が多いツイートと、紹介した記事のクリック回数が多いツイートの内容を確認します。そして傾向を確認します。 この記事を読んで欲しい人は、ツイッターの「…

Rの基礎9では、Rでの統計や検定の基礎について説明します。Rは統計を主な対象としたプログラミング言語ですので、統計に関する機能は充実しています。基本統計量（平均値や標準偏差、4分位値など）の計算に用いる関数は全て揃っており、個々の関数を忘れていても、ほとんどの場合基本統計量はsummary関数で計算することができます。Rでは各種確率分布に従った乱数を得たり、ある条件下での確率密度を求めたりすることもできます。最もよく使われるのは正規分布する乱数を得るためのrnorm関数や正規分布の確率密度を求めるdnorm関数などだと思います。取得した乱数や確率密度は、hist関数やggplot2のgeom_…

今回は都道府県別のデジタル教科書の整備率のデータの分析をしてみようと思います。 データは、政府統計の総合窓口(www.e-stat.go.jp)から取得しました。 47都道府県を選択し、 デジタル教科書の整備率と関連のありそうな教育用コンピュータ1台当たりの児童数のデータも選択しました。 このようなデータです。 これをCSVファイルに出力しました。 9行目に変数名を挿入しています。 これをR言語のread_csv関数で読み込みます。 read_csv関数でCSVファイルを読み込みます。 skip = 8 で9行目から読み込むように、 na = c("***", "X", "-") で***, …

■2変量データ以下の2つの品種に関してデータ解析を行う。 ■csvファイルの作成上記データについてcsvファイル（カンマ区切り）を作成する。・ファイル名 SpeciesData.csv・ファイルの中身 Species,Weight(g) A,2 B,5 A,3 A,3 B,9 A,4 A,4 B,6 B,8 A,4 A,4 A,5 B,6 B,8 B,7 A,5 B,7 A,6 B,7 B,7 ■csvファイルの読み込みpandasを使用してcsvファイルを読み込む import pandas as pd # csvファイル読み込み SpeciesData = pd.read_csv("Spe…