Comma Separated Value の略。
主に表計算ソフト間の互換フォーマットとして用いられる。「カンマでカラムが区切られ、改行で行が区切られる」という漠然としたルールで明確なフォーマットの仕様や標準は存在しなかったが、2005年10月にCSVの仕様について書かれたRFC 4180が公開された。
また、タブ区切りなどもCSVに含める場合がある。これは "Character-Separated Values" の略である。
バージョン管理システムのCVSと間違いやすい。
はじめに これはCSV Parserを実装するわけではありません。 vincentlaucsb/csv-parserに乗っかって、iteratorを実装します。 国民的人気ブラウザゲーム艦隊これくしょん-艦これ-では、ユーザ有志による検証が非常に盛んに行われています。 その中でも、ダメージ検証は特に活発であり、専用のデータ採取ツール(赤仮、74式EN)や、データ解析用計算ツール(ダメージ検証用スプレ)、異常ダメージ検知などの様々なツールが開発・保守・運用されています。 艦娘は、最大でconstexpr auto slot_size = 6;個のスロットがあります。 艦娘の6個のslot 各スロ…
Python パイソンで エクセル表からファイルを作る方法を解説しました。Pythonで アニメを作る方法はこちら。Pythonの使い方はこちら ほかの解説動画はこちら。 目次 Python (パイソン) の入手 Windows の場合 ラズベリーパイの場合 Mac の場合 python2 と python3 の違い Python (IDLE) の起動 Windows の場合 ラズベリーパイの場合 IDLE(Python)の操作 Python のプログラム 例1 UnicodeDecodeError: 'cp932' codec can't decode エラー Python のプログラム 例…
検疫に隔離されたメールを一覧でCSVファイルに出力する場合、Powershell で Get-QuarantineMessage を実行することで可能です。 なお、検疫はスパム、マルウェア、フィッシングなどで判定された場合に、隔離される場所です。 以下の記事も参考としてくださいね。 it-bibouroku.hateblo.jp 以下にGet-QuarantineMessageコマンドレットをご紹介します。 (adsbygoogle = window.adsbygoogle || []).push({}); 以下のサイトの手順にて、Exchange Online に接続してから実行してください…
Puppeteerを使ってWebスクレイピング・日程をCSVファイル化するスクリプトを組んでいるので、Googleカレンダーに一瞬で試合日程を取り込むことが可能。これぞハック。 開幕まで1か月を切ったところで、今年の日程が公式サイトで発表されたので、さっそくスクリプトを走らせてCSVファイルを作った。 これを見ている人がいるのか分からないけど、見かけた人は自由に利用してもらってOKです。 Googleカレンダーへのインポート方法は公式のヘルプのとおり CSVファイルは自分のGoogleドライブに置いている シーズン後半の日程は未確定のため、確定の報が入り次第追加取得する スクリプトを置いている…
新しめのawkには面倒なCSVファイルを処理対象としてうまく処理するオプションが追加されている。 awk --csv を使え 少し説明 面倒なCSVファイルとは例えば以下のようなもの "カンマが,ダブルクォート内に含まれていたり",this field has spaces,,"" 上のCSVを何もせずにawkに通すと、1フィールド目は「"カンマが」になってしまう。 すぐに見つかるワークアラウンドとして、FPATという変数にフィールドの定義を代入する方法がある。 ところが、世の中にCSVとして流通しているものを食わせると破綻する場合がある。 特に、フィールド内に改行が含まれているとFPATでは…
" data-en-clipboard="true">UA Backupでユニバーサルアナリティクスのデータを安全にエクスポートしよう! " data-en-clipboard="true"> " data-en-clipboard="true"> はじめに 皆さん、こんにちは!ウェブサイトのアクセス解析に使っているユニバーサルアナリティクス(Universal Analytics)のデータを、もう一度確認できる方法を知っていますか?実は、2024年6月までに古いバージョンのユニバーサルアナリティクスで収集されたデータは消失するんですよ。そこで今回は、データのバックアップを手軽に行える「UA …
.entry-inner img{ border: 1px solid #000; } こちらの記事は アソビュー! Advent Calendar 2023 の23日目(B面)です。 こんにちは。アソビューでバックエンドエンジニアをやっている 五十嵐 です。 やっと寒くなってきてクリスマス感も出てきましたね!(もう明後日ですが・・・!!) 我が家は家族みんなが体調を崩していましたが、みなさまも体調に気をつけて、楽しいクリスマス & お正月をお迎えください! さて、今回は Amazon DynamoDB について触れてみたいと思います。 DynamoDB について Amazon DynamoD…
CSVは、”検索ワード_result.csv”でワークスペースに保存される。 import os import csv from googleapiclient.discovery import build ws = "ここにワークスペースを入力" os.chdir(ws) # YouTube APIキーを設定 api_key = "ここに自分のAPIキーを入力してください" #keyword keyword = "keywordを入力" # YouTube APIのビルド youtube = build('youtube', 'v3', developerKey=api_key) def s…
import os main_fd = "作業用フォルダを書く" os.chdir(main_fd) from pytube import YouTube import csv #関数を定義 def download_youtube_video(url, output_folder): try: yt = YouTube(url) video = yt.streams.filter(file_extension="mp4", progressive=True).first() video.download(output_folder) print(f"Video {yt.title} down…
気軽にRStudioを使ってグラフを吐き出そうと思ったら、思わぬところで引っかかったのでメモ。 R言語でCSVファイルを読み込む際にはread.csv()を利用するのが便利だ。 例: demo1.R data <- read.csv('demo.csv', header=TRUE, row.names=1, encoding="UTF-8") 例:demo.csv 商品名,10月,11月,12月 商品A,100,110,120 商品B,110,110,100 商品C,120,100,110 CSVなので分かりにくいけれど、データのイメージとしては以下のような感じ。 数値については月毎の商品の売…
どこかの豆腐屋みたいなタイトルにしておりますが、実態はへっぽこでして。東証にあるエクセルファイルをダウンロードして、リストを作ろうと python ノリで golang をいじってみたのですが、130A.Tとかアルファベット表記が入っている番号を golang で取り込むのが僕には無理だった*1ので python pandas を使って print したのを取り込む形にしました。golang のアプリと同じディレクトリにおいておきます。pro market のものはヤフーファイナンスにて出てこなかったので、取り除いてあります。 >>tosho.py import pandas as pd a=…
キユーピーのとっておきレシピとは?キユーピーの「とっておきレシピ」は、キユーピーが提供する公式ウェブサイトやアプリ内で提供される料理レシピのコンテンツです。これには、キユーピーの調味料や食材を使ったさまざまな料理のレシピが含まれています。ユーザーは、簡単な料理から本格的な料理まで幅広いレシピを見つけることができ、料理のアイデアや新しい料理方法を探すことができます。また、季節や特定のイベントに合わせたレシピも提供されており、料理のバリエーションを楽しむことができます。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすい人工知能Webスクレイピ…
WordPress用ONLYOFFICE Docsをバージョン2.0.0にアップデートしました。マルチサイト機能、PDFフォームへの入力と注釈の追加、リンクとしてのファイル埋め込み、公開投稿での匿名ユーザーへのアクセスをサポートします。すべての改善点をご覧ください。
前提 code AWS のサポートケースの検索がなんだかめんどくさいので、ケースごとに返信を1つのテキストファイルにまとめるスクリプトを書いた。 前提 boto3 が pip install されている AWS_PROFILE 環境変数がセットされている code import os import shutil import boto3 client = boto3.client("support") OUTPUT_DIR = "output" def reset_output(): if os.path.isdir(OUTPUT_DIR): shutil.rmtree(OUTPUT_DIR)…
Pythonでデータ処理を行う際の標準的なライブラリともいわれるPandasですが、最近、より高速なライブラリとして「polars」というのが、よく利用されているそうです。 使い方は簡単。試しにやってみました。 インストール おなじみのpipで。最初は実験用の仮想環境に切り替えて入れてみる。 pip install polars 比較 10億までの素数の一覧データ(約5084万行)のcsv(約553MB)を読み込んでdfをprintする、という簡単なコードで処理時間を比較してみた。 ## pandasの場合 import pandas as pd import time start_time …
about 資料 QuickSight の基礎?知識 QuickSight とは QuickSight の概念 default namespace と custom namespace (カスタム名前空間) 埋め込み QuickSight QuickSight は AWS アカウントに1つ QuickSight の詳細 RLS custom namespaces / カスタム名前空間 だと、 UI でリソースが管理できない QuickSight user の password-based login について custom namespaces と user の IdentityType At…
Creema(クリーマ)とは?Creema(クリーマ)は、日本のハンドメイド作品やクラフト作品を販売・購入するためのオンラインマーケットプレイスです。個人や小規模なクリエイターが手作りのアクセサリー、雑貨、ファッションアイテム、インテリア雑貨など、さまざまなハンドメイド作品を販売することができます。購入者は、クオリティの高い手作りの製品を見つけて購入することができます。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすい人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99%のW…
Release v1.7.1 · hymkor/csvi 前に説明したのは v1.5.0 だったので、v1.6.0, v1.7.0 の変更点も合わせて CSView → CSVI と名前を変えました View という単語が名前に入ってると読み取り専用ビューアという印象があるが、今は編集可能になっている 同カテゴリに CSView という名前のツールが結構ある ということから改名した方がよいな思いつつ、今頃になってしまいました。 名前を変えると、変えてからしばらくすると微妙になってくることがたまにあるんですが、今回は大丈夫だったみたいです。今のところ、特に「えぇー」という声もなさげです (本当か…
みなさん、こんにちは。ソニー・ミュージックエンタテインメントのふくろうです。 前回の記事では、私が所属するアナリティクス部の業務を簡単に紹介しました。 効果的なアーティストプロモーションを実現するためにさまざまな観点からデータ分析を行うのがアナリティクス部の業務ですが、今回はデータ分析を行う上で重要だと感じる点についてご紹介できればと思います。 どの数字を伸ばすべきか? アーティストによる特性の違い フォロワーを増やすための分析 最後に どの数字を伸ばすべきか? アーティストのプロモーションを担うA&R(アーティスト&レパートリー)はアーティストのファンを増やすことを目標にしていますが、「ファ…
こんにちは🐱 カスタマーサクセス部の山本です。 以前からある機能なものの、Aurora のアクティビティストリームについて初めて調べたので記事にします。 アクティビティストリームはデータベース操作の監査を行う機能です。 監査ログ機能は他にもあるので、使い分けについて主に調べて記述します。 2019 年の 5 月に Aurora Postgres 向けに出来た機能です。 Amazon Aurora (PostgreSQL 互換) でのデータベースアクティビティストリームのサポートによりリアルタイムのモニタリングが可能に 2020 年の 6 月に、Aurora MySQL にも対応しています。 デ…
初めまして。 2024年1月からFLINTERS BASEに入社した8期生の山本と申します。 今回、入社後の約3ヶ月の研修が終わりを迎えることにあたり、僣越ながらここまでの振り返りを共有させて頂きます。 この記事が私と同じように、異業種からエンジニアへの転向を目指されている方にとって、少しでも有益な情報になれると幸いです。
拡張子とは、ファイルの種類を示す文字列のことです。テキストや画像、音声、動画など、ファイルの種類によって使われる拡張子は異なります。拡張子の役割を理解することで、ファイルの種類の識別や使用するソフトウェアの判断、異なるOSでの互換性の確保などに役立つでしょう。 この記事では、拡張子の概要や主な種類とその特徴、Windows 11で拡張子を確認・変更する方法などを解説します。ぜひ参考にしてください。 ※ パソコンの構成によっては、操作方法が一部異なる場合があります。あらかじめご了承ください。 拡張子とは?初心者向けにわかりやすく解説 拡張子とは「ファイルの形式を示す文字列」 拡張子に3文字が多い…
AnyTechの赤川です。 AnyTechでは、「手軽に試せる流体解析AIパッケージ」としてDeepLiquid Lite(以下、Liteと記載)というものを提供しております。DeepLiquid Liteはブラウザベースで稼働するソフトウェアとなっており、その開発メンバーとして参画しています。 今回は、我々が開発に利用している技術を紹介する第二弾として、バックエンド技術についてご紹介しようと思います。 技術スタック Liteのバックエンドは以下の技術スタックによって構成されています。 ブランチ運用はgit-flowを採用 サーバ構築:Docker デプロイ:Ansible 主なサーバ群 外部…
かんたん無料でネットショップを作るなら 「ストアーズ(STORES)」【公式】 これからネットショップをはじめてみようとお考え方に役立つ情報をお届けします。自分の商品やサービスをつくって、自分だけのネットショップで販売し、利益率の高い事業として育成することに成功している人が増えています。昨今では、ネットショップで本業以上に稼いでいる猛者も見かけるようになりました。 この記事では、個人で自分のネットショップをはじめたいとお考えの方に役立つ、ネットショップ開設サービス「ストアーズ(STORES)」のサービス内容・魅力・評判・クチコミ・導入事例・はじめ方などをわかりやすく解説します。 ぜひ、ご活用く…
今回はライセンスに含まれている特定のサービスプランが有効なユーザーの情報を一覧として取得する方法についてご紹介したいと思います。 事前準備 : Windows PowerShell の起動と接続 下記公開情報の [1. Microsoft Graph PowerShell のインストール] を参考に、Microsoft Graph PowerShell 用モジュールのインストールをしてから実行してください。 ※ すでに本モジュールのインストールが完了している場合、再インストールは不要ですので、後述の <Windows PowerShell への接続> の手順からご実施ください。 jpazure…