CSV

Pandas CSVファイルを読む 「data.csv」を読んで先頭の5行を表示する import pandas as pd csv_data = pd.read_csv('data.csv') print(csv_data.head()) データを縦に結合する(行方向に増やす) import pandas as pd data1 = pd.read_csv('data1.csv') data2 = pd.read_csv('data2.csv') print(data1) print('') print(data2) print('') data_concat = pd.concat([da…

※注意 この記事は、投稿者が勉強用に作成している備忘録のようなものです。 メソッドやプロパティ、変数に代入されている値の説明など省略されている箇所があります。 用意する変数 処理の流れ 書き込むコード WriteTextメソッド ファイルに出力処理をするSaveToFileメソッド ExcelからCSVファイルを作成する方法に、普通に名前を付けて保存でCSVファイルを作成することはできます。 （※ただし、Excelで表示した際に、数値データの頭の数字「０」が消えてしまいます。メモ帳やテラパッドで開いたときは大丈夫でした。） ここでは、VBAを使ってExcelからCSVを出力する方法を記述してい…

※注意 この記事は、投稿者が勉強用に作成している備忘録のようなものです。 メソッドやプロパティ、変数に代入されている値の説明など省略されている箇所があります。 参照設定 VBAコードの流れ 宣言しておく変数 Streamオブジェクトのプロパティ テキストを読み込む抜粋 配列の要素の最大数を取得してくれるUBound関数 CSVを取り込んだ時の表示形式 参照設定 文字コードが、UTF-8、その他の文字コードも読み込めれるようにADOオブジェクトを使用して使った方法を扱う。 ※文字コードがあわないCSVファイルをExcelで読み込むと文字化けを起こします。 ※正味、CSVファイルをExcelで観覧…

経緯 EC-CUBE3とEC-CUBE4でそれぞれCSV出力機能を使用しているのですが、CSVを使ってIFしている連携先から「改行コードをLFでなくCRLFにしてほしい」という要望があがりました。 調べてみたけど、スルッと使えるものがなかったので、自分で実装したら、追記2か所でいけました。 変更対象ソース /src/Eccube/Service/CsvExportService.php EC-CUBE3もEC-CUBE4も同一ソースでした。もちろん中身は異なりますが、今回の追記内容は同じでOKです。 追記箇所1 ファイルの一番下に以下を追記します。 class CrlfFilter{ publ…

うちのブログで最も読まれている記事↓ morinogps.hatenablog.com QGIS3.10で久しぶりに断面図作ってみたら、なんかCSVを吐き出せることに気が付きました。（今更） 今回作った断面 qProfの設定パネル 断面図作った後でqProfの設定パネルの「Export」タブで「Topographic Profile Data」のボタン押すと、 Exportオプション選択ダイアログ こんなダイアログが開くので、CSV選んで適当なファイル名つけて適当な保存先フォルダ設定して「OK」を押すと、CSVファイルができます。 CSVをExcelで開いたところ Excelで開くと、どうもグ…

CsvHelperのバージョンを26に上げたら仕様がだいぶ変わってはまったので備忘録として記録する この記事で達成できること CsvHelper ver26でダブルクォーテーション付きのCSVが出力できる 日本語のヘッダーを出力できる 書き方 /// <summary> /// ファイル書き込み /// </summary> /// <returns></returns> public void Write(IEnumerable<TModel> WriteData) { var config = new CsvConfiguration(CultureInfo.InvariantCultur…

エクセルに比べれば外部のCSVを扱う処理はまだ悩むことが少ないだろうと油断していたところ、 先日かなり頭を悩ませたので戒めとして記録したいと思います。

はじめに データローダでデータを取得しようとするとき、例えば取引先責任者で「ID、姓、名、取引先名、作成者、最終更新者」のデータを取得しようとすると、以下SOQLと結果になります。 SOQL Select Id, AccountId, LastName, FirstName, CreatedById, LastModifiedById FROM Contact 結果(CSV) ID ACCOUNTID LASTNAME FIRSTNAME CREATEDBYID LASTMODIFIEDBYID 0032v00002m22azAAA 0012v00002MaYXxAAN Gonzalez Ro…

本記事では、例えば下図のように「species」というカテゴリ変数がどんなのがあるかを調べる雛形コードを載せました。例題に使用したデータは、機械学習でお馴染みのアイリスデータセットです。 ファイルを読み込み後に下記のようにすることで、カテゴリ変数の種類がわかります。 df.groupby('species').count() 下図のように、「species」は、「setosa」「versicolor」「virginica」の3つのカテゴリがあることがわかります。 ■本プログラム #!/usr/bin/env python # coding: utf-8 # In[3]: import pand…

こんにちは、ビジネスゼロイチ実践チャンネルです。 今回は、仕入れのネッシー無在庫転売に取り組んでみたい方向けに、ネットショップBASEへの個別商品登録方法をお伝えしていきます。 仕入れのネッシー無在庫転売に取り組んでみたいけど、どのように商品登録したらいいかわからないとなっている場合は、ぜひ参考にしてみてください！ もしBASEが何かわからなかったり、ショップをまだ作成できていない場合は、こちらの動画を先にご覧ください。 www.youtube.com また、今回お伝えする内容は、1つずつ商品を登録する方法なので、一括登録の方法ではありません。 一括登録の方法が知りたい方は別の動画で解説をして…

OfficeSuite Microsoft Officeほどの使いこなせない豊富な高機能までは不要… とは言ってもフリーのソフトは品質が不安… 必要機能は十分に備わっていて、でも価格はとてもリーズナブルで、何かあったらメーカーのサポートを受けたい。そんな望みをお持ちの個人ユーザー様・個人事業主様・中小企業様にぴったりなオフィスアプリケーションです Documentsデザインの美しいドキュメントも、直感的に簡単に作れます。共同での文書作成も簡単です。 Sheets複雑な表計算も、デザイン性に優れたグラフ作成も簡単にできる、パワフルな表計算アプリケーションです。 Slides聴衆を虜にする目を見張…

こんにちは！Diverse広報担当です！ 先日、Diverse Meetup #3となる『Lookerを使ったデータドリブンなアプローチ』を開催しました！ connpass.com DiverseのiOSエンジニアであり、最新アプリHOPにも関わる熊埜御堂 将隆さんがご登壇！ BIツール「Looker」についての基本、Diverseで展開しているマッチングサービスでの活用法、さらにデータドリブンを実現するためのコツをお話いただきました。 今回は、当イベントの様子を前編・後編に分けてお伝えします。 まずは前編、「Lookerの基本とデータ活用」からどうぞ！ ▼目次 当日の資料と動画を公開中！ イ…

こんにちわ。クルマ減税会です ・登録者リスト自動化システムの為の打ち込みボランティアさんを募集 フォームより有権者登録する際に頂く住所情報を、自動で選挙区分けを行うシステムを構築します。 現在多くの減税会が立ち上がっていますが、多くの会でネックになっているのが登録情報から選挙区分けをする作業です。こちらを自動化するシステムを作ります。 自動化するためのシステムですが、最初の選挙区分けデータは手作業になるので打ち込みが必要です。 打ち込みをしてくださるボランティアさんを募集します 【必要なもの】 ・PC ・ネット環境 ・zoomでの打ち合わせに参加できる方（音声のみでOK） 【内容】 希望する選…

こんにちは。DX事業部の花村(@naomasabit)です。先日の投稿でユーザーの利用状況確認のためにAWSのQuickSightを利用していると書きましたが、並行して分析ツールのRedashも利用しています。Redashの良い点としてクエリベースでの分析、監視アクション、スプレッドシートとのデータ連携が存在します。 SaaSチームの運営において、これらを活用したユースケースについて伝えていきます。 アドホックな分析クエリの共有によるコミュニケーション効率化 監視アクション設定によりデータ不整合にすぐ気づける体制整備 複数チームからのデータソース連携によるヘルススコアダッシュボード作成 最後に…

特定ドメインを利用しているユーザーメールボックスの抽出を行うことは可能ですが、 エイリアス (セカンダリアドレス) のみに特化したコマンドレットは無いため、プライマリアドレスも含めた抽出する方法となります。 抽出された csv ファイルより、該当ドメインがプライマリアドレスであるのか、セカンダリアドレスであるのか確認することはできます。 // 以下のサイトの手順にて、Exchange Online に接続してから実行してください。 it-bibouroku.hateblo.jp [構文] Get-Mailbox -Resultsize Unlimited -RecipientTypeDetai…

キタガクの講座申し込みのメールフォームは13年前、ネットで見つけた北海道札幌市の Synckgraphica（シンクグラフィカ）という個人事業のWebエンジニア 和田憲幸氏の メールフォームを使っています もちろん無料サービス版です 13年経ったので何か新しいメールフォームをと探していたら formzu（フォームズ）を見つけました 無料版を使ってみました 素晴らしく使い勝手の良いものでした フォームズとはフォームズ株式会社が運営しているフォーム作成ツールです 問い合わせフォームであれば最短30秒で作成できる手軽さが好評で、20年以上の運営実績の中で作成されたフォーム数は1,300,000件と言…

2021年6月のセキュリティ関連のニュース一覧 // 記事の投稿日 概要 2021/06/01 5月は日本がAPACでサイバー攻撃増加率1位、テレワークが要因か 2021/06/01 「ワクチン無料予約受付中です」と不正アプリのインストールへ誘導、不審なSMSに注意 2021/06/01 クラウド設定不備で顧客情報約11万件が閲覧可能に、流出は1件 - ホーユー 2021/06/01 人事情報に不正アクセス 宜野湾市職員を懲戒処分 一般市民の情報含まれず 2021/06/01 ハッカー集団「ノベリウム」、２４カ国に対してサイバー攻撃 2021/06/02 米国の食肉大手にサイバー攻撃 ロシア拠…

Locust でhtml reportの出力を試す locust v1.4.2からhtmlを出力するオプションが追加されたので試してみました。--headlessオプションをつけてGUIなしで実行したときには結果が見にくいなと思っていたのでとても便利だと思います。 ■locustを最新のv1.6.0にバージョンアップ pi@raspijuichi:~/Locust$ pip3 install -U locust pi@raspijuichi:~/Locust$ locust -V locust 1.6.0 ■--htmlオプションを付ける pi@raspijuichi:~/Locust$ lo…

各種経済指標とそれが株価に及ぼす影響について見ていきたいと思います。まずは第1弾ということで、『量的緩和』について見ていきます。 量的緩和とは金融緩和の一つで、日銀が国債を大量に購入することで市場に流通させるお金を増やし、これにより景気回復を目指す金融政策です。量的緩和の度合いを確かめる指標として、『日銀当座預金』という指標が存在します。ということで、今回は『日銀当座預金』と『日経平均株価』の関係性について見てみます。日銀当座預金の説明は以下が分かりやすかったです。 【わかりやすく図解】買いオペと売りオペとは？日銀が国債を操作する仕組みを説明 | あおりんごの経済と金融ちなみに金融緩和の方法と…