Comma Separated Value の略。
主に表計算ソフト間の互換フォーマットとして用いられる。「カンマでカラムが区切られ、改行で行が区切られる」という漠然としたルールで明確なフォーマットの仕様や標準は存在しなかったが、2005年10月にCSVの仕様について書かれたRFC 4180が公開された。
また、タブ区切りなどもCSVに含める場合がある。これは "Character-Separated Values" の略である。
バージョン管理システムのCVSと間違いやすい。
はじめに これはCSV Parserを実装するわけではありません。 vincentlaucsb/csv-parserに乗っかって、iteratorを実装します。 国民的人気ブラウザゲーム艦隊これくしょん-艦これ-では、ユーザ有志による検証が非常に盛んに行われています。 その中でも、ダメージ検証は特に活発であり、専用のデータ採取ツール(赤仮、74式EN)や、データ解析用計算ツール(ダメージ検証用スプレ)、異常ダメージ検知などの様々なツールが開発・保守・運用されています。 艦娘は、最大でconstexpr auto slot_size = 6;個のスロットがあります。 艦娘の6個のslot 各スロ…
Python パイソンで エクセル表からファイルを作る方法を解説しました。Pythonで アニメを作る方法はこちら。Pythonの使い方はこちら ほかの解説動画はこちら。 目次 Python (パイソン) の入手 Windows の場合 ラズベリーパイの場合 Mac の場合 python2 と python3 の違い Python (IDLE) の起動 Windows の場合 ラズベリーパイの場合 IDLE(Python)の操作 Python のプログラム 例1 UnicodeDecodeError: 'cp932' codec can't decode エラー Python のプログラム 例…
検疫に隔離されたメールを一覧でCSVファイルに出力する場合、Powershell で Get-QuarantineMessage を実行することで可能です。 なお、検疫はスパム、マルウェア、フィッシングなどで判定された場合に、隔離される場所です。 以下の記事も参考としてくださいね。 it-bibouroku.hateblo.jp 以下にGet-QuarantineMessageコマンドレットをご紹介します。 (adsbygoogle = window.adsbygoogle || []).push({}); 以下のサイトの手順にて、Exchange Online に接続してから実行してください…
Puppeteerを使ってWebスクレイピング・日程をCSVファイル化するスクリプトを組んでいるので、Googleカレンダーに一瞬で試合日程を取り込むことが可能。これぞハック。 開幕まで1か月を切ったところで、今年の日程が公式サイトで発表されたので、さっそくスクリプトを走らせてCSVファイルを作った。 これを見ている人がいるのか分からないけど、見かけた人は自由に利用してもらってOKです。 Googleカレンダーへのインポート方法は公式のヘルプのとおり CSVファイルは自分のGoogleドライブに置いている シーズン後半の日程は未確定のため、確定の報が入り次第追加取得する スクリプトを置いている…
新しめのawkには面倒なCSVファイルを処理対象としてうまく処理するオプションが追加されている。 awk --csv を使え 少し説明 面倒なCSVファイルとは例えば以下のようなもの "カンマが,ダブルクォート内に含まれていたり",this field has spaces,,"" 上のCSVを何もせずにawkに通すと、1フィールド目は「"カンマが」になってしまう。 すぐに見つかるワークアラウンドとして、FPATという変数にフィールドの定義を代入する方法がある。 ところが、世の中にCSVとして流通しているものを食わせると破綻する場合がある。 特に、フィールド内に改行が含まれているとFPATでは…
" data-en-clipboard="true">UA Backupでユニバーサルアナリティクスのデータを安全にエクスポートしよう! " data-en-clipboard="true"> " data-en-clipboard="true"> はじめに 皆さん、こんにちは!ウェブサイトのアクセス解析に使っているユニバーサルアナリティクス(Universal Analytics)のデータを、もう一度確認できる方法を知っていますか?実は、2024年6月までに古いバージョンのユニバーサルアナリティクスで収集されたデータは消失するんですよ。そこで今回は、データのバックアップを手軽に行える「UA …
.entry-inner img{ border: 1px solid #000; } こちらの記事は アソビュー! Advent Calendar 2023 の23日目(B面)です。 こんにちは。アソビューでバックエンドエンジニアをやっている 五十嵐 です。 やっと寒くなってきてクリスマス感も出てきましたね!(もう明後日ですが・・・!!) 我が家は家族みんなが体調を崩していましたが、みなさまも体調に気をつけて、楽しいクリスマス & お正月をお迎えください! さて、今回は Amazon DynamoDB について触れてみたいと思います。 DynamoDB について Amazon DynamoD…
CSVは、”検索ワード_result.csv”でワークスペースに保存される。 import os import csv from googleapiclient.discovery import build ws = "ここにワークスペースを入力" os.chdir(ws) # YouTube APIキーを設定 api_key = "ここに自分のAPIキーを入力してください" #keyword keyword = "keywordを入力" # YouTube APIのビルド youtube = build('youtube', 'v3', developerKey=api_key) def s…
import os main_fd = "作業用フォルダを書く" os.chdir(main_fd) from pytube import YouTube import csv #関数を定義 def download_youtube_video(url, output_folder): try: yt = YouTube(url) video = yt.streams.filter(file_extension="mp4", progressive=True).first() video.download(output_folder) print(f"Video {yt.title} down…
気軽にRStudioを使ってグラフを吐き出そうと思ったら、思わぬところで引っかかったのでメモ。 R言語でCSVファイルを読み込む際にはread.csv()を利用するのが便利だ。 例: demo1.R data <- read.csv('demo.csv', header=TRUE, row.names=1, encoding="UTF-8") 例:demo.csv 商品名,10月,11月,12月 商品A,100,110,120 商品B,110,110,100 商品C,120,100,110 CSVなので分かりにくいけれど、データのイメージとしては以下のような感じ。 数値については月毎の商品の売…
Release v1.7.1 · hymkor/csvi 前に説明したのは v1.5.0 だったので、v1.6.0, v1.7.0 の変更点も合わせて CSView → CSVI と名前を変えました View という単語が名前に入ってると読み取り専用ビューアという印象があるが、今は編集可能になっている 同カテゴリに CSView という名前のツールが結構ある ということから改名した方がよいな思いつつ、今頃になってしまいました。 名前を変えると、変えてからしばらくすると微妙になってくることがたまにあるんですが、今回は大丈夫だったみたいです。今のところ、特に「えぇー」という声もなさげです (本当か…
みなさん、こんにちは。ソニー・ミュージックエンタテインメントのふくろうです。 前回の記事では、私が所属するアナリティクス部の業務を簡単に紹介しました。 効果的なアーティストプロモーションを実現するためにさまざまな観点からデータ分析を行うのがアナリティクス部の業務ですが、今回はデータ分析を行う上で重要だと感じる点についてご紹介できればと思います。 どの数字を伸ばすべきか? アーティストによる特性の違い フォロワーを増やすための分析 最後に どの数字を伸ばすべきか? アーティストのプロモーションを担うA&R(アーティスト&レパートリー)はアーティストのファンを増やすことを目標にしていますが、「ファ…
こんにちは🐱 カスタマーサクセス部の山本です。 以前からある機能なものの、Aurora のアクティビティストリームについて初めて調べたので記事にします。 アクティビティストリームはデータベース操作の監査を行う機能です。 監査ログ機能は他にもあるので、使い分けについて主に調べて記述します。 2019 年の 5 月に Aurora Postgres 向けに出来た機能です。 Amazon Aurora (PostgreSQL 互換) でのデータベースアクティビティストリームのサポートによりリアルタイムのモニタリングが可能に 2020 年の 6 月に、Aurora MySQL にも対応しています。 デ…
初めまして。 2024年1月からFLINTERS BASEに入社した8期生の山本と申します。 今回、入社後の約3ヶ月の研修が終わりを迎えることにあたり、僣越ながらここまでの振り返りを共有させて頂きます。 この記事が私と同じように、異業種からエンジニアへの転向を目指されている方にとって、少しでも有益な情報になれると幸いです。
拡張子とは、ファイルの種類を示す文字列のことです。テキストや画像、音声、動画など、ファイルの種類によって使われる拡張子は異なります。拡張子の役割を理解することで、ファイルの種類の識別や使用するソフトウェアの判断、異なるOSでの互換性の確保などに役立つでしょう。 この記事では、拡張子の概要や主な種類とその特徴、Windows 11で拡張子を確認・変更する方法などを解説します。ぜひ参考にしてください。 ※ パソコンの構成によっては、操作方法が一部異なる場合があります。あらかじめご了承ください。 拡張子とは?初心者向けにわかりやすく解説 拡張子とは「ファイルの形式を示す文字列」 拡張子に3文字が多い…
AnyTechの赤川です。 AnyTechでは、「手軽に試せる流体解析AIパッケージ」としてDeepLiquid Lite(以下、Liteと記載)というものを提供しております。DeepLiquid Liteはブラウザベースで稼働するソフトウェアとなっており、その開発メンバーとして参画しています。 今回は、我々が開発に利用している技術を紹介する第二弾として、バックエンド技術についてご紹介しようと思います。 技術スタック Liteのバックエンドは以下の技術スタックによって構成されています。 ブランチ運用はgit-flowを採用 サーバ構築:Docker デプロイ:Ansible 主なサーバ群 外部…
かんたん無料でネットショップを作るなら 「ストアーズ(STORES)」【公式】 これからネットショップをはじめてみようとお考え方に役立つ情報をお届けします。自分の商品やサービスをつくって、自分だけのネットショップで販売し、利益率の高い事業として育成することに成功している人が増えています。昨今では、ネットショップで本業以上に稼いでいる猛者も見かけるようになりました。 この記事では、個人で自分のネットショップをはじめたいとお考えの方に役立つ、ネットショップ開設サービス「ストアーズ(STORES)」のサービス内容・魅力・評判・クチコミ・導入事例・はじめ方などをわかりやすく解説します。 ぜひ、ご活用く…
今回はライセンスに含まれている特定のサービスプランが有効なユーザーの情報を一覧として取得する方法についてご紹介したいと思います。 事前準備 : Windows PowerShell の起動と接続 下記公開情報の [1. Microsoft Graph PowerShell のインストール] を参考に、Microsoft Graph PowerShell 用モジュールのインストールをしてから実行してください。 ※ すでに本モジュールのインストールが完了している場合、再インストールは不要ですので、後述の <Windows PowerShell への接続> の手順からご実施ください。 jpazure…
最初にネクストエンジンを入れてから1ヶ月たちました。 whitesan.hatenadiary.com whitesan.hatenadiary.com 有料特典が3月いっぱいだったこともあり、3月下旬にネクストエンジンの本契約をしました。3ヶ月ごとの更新で5月まで無料で使えるとのことであまりリスクはないと思い契約、引き続き作業を進めていました。 結論からいうとネクストエンジンへの移行はやめてクロスモールにとどまることにしました。 現在の店舗の内容・商品数:約2000・作業人:1人・RSL:未契約・OMS:クロスモール・楽天・ヤフーショッピング一元移行を検討した理由 ・BASE、Qoo10、メ…
BookLiveとは?BookLive(ブックライブ)は、日本を拠点とする電子書籍プラットフォームおよびオンライン書店の一つです。さまざまなジャンルの電子書籍を提供しており、小説、漫画、ビジネス書、自己啓発書、教育書、旅行ガイドなど、多様なテーマやカテゴリの書籍が含まれています。電子書籍市場において一般的なプラットフォームの一つであり、多くのユーザーに電子書籍の利便性を提供しています。利用者はデジタルな読書体験を楽しむことができ、書籍の購入や読書習慣に合わせたオプションが提供されています。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすい…
Hotpepperグルメとは?Hotpepperグルメは、ユーザーが地域やジャンル、予算などの条件を指定して飲食店を検索できるプラットフォームです。検索結果には、レストラン、カフェ、居酒屋、バーなどさまざまな種類の飲食店が含まれます。ユーザーは実際に飲食店を利用した際の口コミや評価を投稿できます。他のユーザーがその情報を参考にして、良いレストランや人気のある店を見つけるのに役立ちます。多様な飲食店情報と利用者の生の声を通じて、食事プランの選択をサポートするプラットフォームとして人気があります。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いや…
JAWS-UG東京 ランチタイムLT会 #10 jawsug.connpass.com セッション LT① AWS認定資格を取得したので初めてマネコンを触った時を振り返ってみた。 相川 奈槻さん(三菱電機株式会社) 初めてマネコンを触った時 ブロックチェーンや衛星などすごい驚きと興奮 高額請求の恐怖 認定資格を取ったら AWSが怖くなくなった 触って学ぶのは大事だけど高額請求があるからクラウドは怖いで勧められるかは微妙ですよね。 お勉強して知ってから触るのは安全対策としてはいいですね。 LT② API Gatewayと少し仲良くなってみた! 升谷 直緒さん(株式会社エーピーコミュニケーションズ…
素晴らしきDjango Djangoは、データベースを用いたアプリケーションを作るのに非常に効果的なツールです。Webサイトでつくれないものはないほど。Djangoの備えている機能について解説します! モデル層 Django は、Web アプリケーションのデータ構造を定義し、操作するための抽象レイヤ「モデル (models)」を提供しています。モデルを使うことで、データベース操作のための複雑な SQL 文を書く必要がなくなります。 モデルの基本 モデルインスタンスの操作 マイグレーションとデータベース その他の高度な機能 ビューの基本 ファイルアップロード クラスベースビュー 高度なビューの実…
はじめに 以下は、「Playniteを使っていて、かつSteamのウィッシュリストを整理したい人」に役に立つかもしれない記事です。 合致する人は少ないように思うけど、せっかくなので書き残したい。 概要としては、GASでスクリプトを作って、「Steam以外のプラットフォームで所有しているゲームがウィッシュリストに入っているか」をチェックしてみたよっていうお話。 自分用すぎるのでスクリプト公開はしてないけど、下記で作業の流れとソースを載せてるので、もしなにかの参考になれば…… 経緯 PCゲームについて、AmazonGames, EPIC, GOG, Steam を利用している どのプラットフォーム…
Pythonのデータ分析ライブラリであるPandasは、多くのデータサイエンティストやエンジニアにとって欠かせないツールです。ここでは、Pandasを効果的に活用するためのチートシートを作成しましたので紹介します。体が覚えるまでブックマークして利用してみて下さい。 データの読み込みと表示 色々なファイルやデータソースからデータを読み込む 読み込みの際の条件を指定する データの表示 基本的なデータの表示方法 属性(アトリビュート)を利用した表示方法 データの基本統計量の確認 データの統計量の概要を確認する 特定の統計量を表示 データの選択とフィルタリング データのソートとグルーピング 欠損値の処…