Comma Separated Value の略。
主に表計算ソフト間の互換フォーマットとして用いられる。「カンマでカラムが区切られ、改行で行が区切られる」という漠然としたルールで明確なフォーマットの仕様や標準は存在しなかったが、2005年10月にCSVの仕様について書かれたRFC 4180が公開された。
また、タブ区切りなどもCSVに含める場合がある。これは "Character-Separated Values" の略である。
バージョン管理システムのCVSと間違いやすい。
はじめに これはCSV Parserを実装するわけではありません。 vincentlaucsb/csv-parserに乗っかって、iteratorを実装します。 国民的人気ブラウザゲーム艦隊これくしょん-艦これ-では、ユーザ有志による検証が非常に盛んに行われています。 その中でも、ダメージ検証は特に活発であり、専用のデータ採取ツール(赤仮、74式EN)や、データ解析用計算ツール(ダメージ検証用スプレ)、異常ダメージ検知などの様々なツールが開発・保守・運用されています。 艦娘は、最大でconstexpr auto slot_size = 6;個のスロットがあります。 艦娘の6個のslot 各スロ…
Python パイソンで エクセル表からファイルを作る方法を解説しました。Pythonで アニメを作る方法はこちら。Pythonの使い方はこちら ほかの解説動画はこちら。 目次 Python (パイソン) の入手 Windows の場合 ラズベリーパイの場合 Mac の場合 python2 と python3 の違い Python (IDLE) の起動 Windows の場合 ラズベリーパイの場合 IDLE(Python)の操作 Python のプログラム 例1 UnicodeDecodeError: 'cp932' codec can't decode エラー Python のプログラム 例…
検疫に隔離されたメールを一覧でCSVファイルに出力する場合、Powershell で Get-QuarantineMessage を実行することで可能です。 なお、検疫はスパム、マルウェア、フィッシングなどで判定された場合に、隔離される場所です。 以下の記事も参考としてくださいね。 it-bibouroku.hateblo.jp 以下にGet-QuarantineMessageコマンドレットをご紹介します。 (adsbygoogle = window.adsbygoogle || []).push({}); 以下のサイトの手順にて、Exchange Online に接続してから実行してください…
Puppeteerを使ってWebスクレイピング・日程をCSVファイル化するスクリプトを組んでいるので、Googleカレンダーに一瞬で試合日程を取り込むことが可能。これぞハック。 開幕まで1か月を切ったところで、今年の日程が公式サイトで発表されたので、さっそくスクリプトを走らせてCSVファイルを作った。 これを見ている人がいるのか分からないけど、見かけた人は自由に利用してもらってOKです。 Googleカレンダーへのインポート方法は公式のヘルプのとおり CSVファイルは自分のGoogleドライブに置いている シーズン後半の日程は未確定のため、確定の報が入り次第追加取得する スクリプトを置いている…
新しめのawkには面倒なCSVファイルを処理対象としてうまく処理するオプションが追加されている。 awk --csv を使え 少し説明 面倒なCSVファイルとは例えば以下のようなもの "カンマが,ダブルクォート内に含まれていたり",this field has spaces,,"" 上のCSVを何もせずにawkに通すと、1フィールド目は「"カンマが」になってしまう。 すぐに見つかるワークアラウンドとして、FPATという変数にフィールドの定義を代入する方法がある。 ところが、世の中にCSVとして流通しているものを食わせると破綻する場合がある。 特に、フィールド内に改行が含まれているとFPATでは…
" data-en-clipboard="true">UA Backupでユニバーサルアナリティクスのデータを安全にエクスポートしよう! " data-en-clipboard="true"> " data-en-clipboard="true"> はじめに 皆さん、こんにちは!ウェブサイトのアクセス解析に使っているユニバーサルアナリティクス(Universal Analytics)のデータを、もう一度確認できる方法を知っていますか?実は、2024年6月までに古いバージョンのユニバーサルアナリティクスで収集されたデータは消失するんですよ。そこで今回は、データのバックアップを手軽に行える「UA …
.entry-inner img{ border: 1px solid #000; } こちらの記事は アソビュー! Advent Calendar 2023 の23日目(B面)です。 こんにちは。アソビューでバックエンドエンジニアをやっている 五十嵐 です。 やっと寒くなってきてクリスマス感も出てきましたね!(もう明後日ですが・・・!!) 我が家は家族みんなが体調を崩していましたが、みなさまも体調に気をつけて、楽しいクリスマス & お正月をお迎えください! さて、今回は Amazon DynamoDB について触れてみたいと思います。 DynamoDB について Amazon DynamoD…
CSVは、”検索ワード_result.csv”でワークスペースに保存される。 import os import csv from googleapiclient.discovery import build ws = "ここにワークスペースを入力" os.chdir(ws) # YouTube APIキーを設定 api_key = "ここに自分のAPIキーを入力してください" #keyword keyword = "keywordを入力" # YouTube APIのビルド youtube = build('youtube', 'v3', developerKey=api_key) def s…
import os main_fd = "作業用フォルダを書く" os.chdir(main_fd) from pytube import YouTube import csv #関数を定義 def download_youtube_video(url, output_folder): try: yt = YouTube(url) video = yt.streams.filter(file_extension="mp4", progressive=True).first() video.download(output_folder) print(f"Video {yt.title} down…
気軽にRStudioを使ってグラフを吐き出そうと思ったら、思わぬところで引っかかったのでメモ。 R言語でCSVファイルを読み込む際にはread.csv()を利用するのが便利だ。 例: demo1.R data <- read.csv('demo.csv', header=TRUE, row.names=1, encoding="UTF-8") 例:demo.csv 商品名,10月,11月,12月 商品A,100,110,120 商品B,110,110,100 商品C,120,100,110 CSVなので分かりにくいけれど、データのイメージとしては以下のような感じ。 数値については月毎の商品の売…
データバージョンの管理とは? データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは? データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイル…
こんにちは。篠原です。 Googleのコアアップデートが3月5日にロールアウトされて、このタイミングでコアアップデートのレポートを書く予定だったのですが全然終わらないですね…。 そんな中の社内のスレッドがこちらです。 活発な社内スレッド。こうして今日も新しいアイデアが生まれる。 ということで「Tableauはいいぞ」になりました。 自分で言っておいてなんですが何書くの… Tableauはいいぞ そもそもTableauを知らないという方に紹介をすると、Tableauはデータ探索を行うためのBIツールです。 LookerStudioのようなものをイメージしていただくと分かりやすいかもしれません。 …
PCの調子が乱高下していたのは以前の投稿より続くところであるが、いよいよダメなようでリセット(Windows11の機能)と相成った。 で、その顛末。
VRもくもく会を今週も開催しました。これは、「VRでのイベントというのも今後は選択肢に入ってくるのではないか、とにかくやってみて経験値を溜めてみよう」ということでやっています。2~3週間おきの定期開催ということで、もう1年以上続けています。 今日は成果発表コーナーで、こんな発表がありました。 mishizakiさん:C# TokyoのSlackでやっているプログラムお題のCSV処理を考えていて、おなじみCSVHelperと、Csvというライブラリを使ってみた。どちらも今回の用途には合わず成果にならなかったが、まずはやり始めたことが大事! 私(suusanex):ブログを書こうと思ってネタを用意…
SNMPのMIB定義ファイル群を解析・格納して、そこから情報を取り出したり、SNMPwalkでネットワークデバイスからOIDと値を収集してMIB定義情報と照合表示したりするOSSツール「Miburi」を作成・公開した。 Linux(amd64/arm64)・macOS(amd64/arm64)・Windows(amd64)向けにそれぞれバイナリをリリースしている。 使い方はREADMEに記載しているが、以下のコマンドを提供する。 miburi dump: MIB定義ファイルを集約してDB化する miburi find: OIDを指定してDBから情報を探す miburi walk: SNMPwa…
中古車のネクステージとは?「ネクステージ(NEXSTAGE)」は、日本の中古車販売事業者であり、中古車の販売や買取、車両の保証やアフターサービスなどを提供しています。幅広い中古車の在庫を取り揃えており、顧客が所有する中古車を査定し、適正な価格で買取るサービスを提供しています。査定は専門のスタッフが行い、客観的な基準に基づいて行われます。オンラインプラットフォームや実店舗を通じて、中古車の販売を行っています。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすい人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモー…
Filmarksとは?映画レビュー(感想・評価)・口コミ・ネタバレが1億3518万件以上。Filmarks(フィルマークス)は、国内最大級の映画レビュー(口コミ)数を誇る映画情報サービスです。あらすじ、ネタバレ、上映中映画、公開スケジュール・公開予定、注目作品、ランキング、おすすめ映画情報などを掲載しています。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすい人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99%のWebスクレイピングを満たします。ScrapeStormにより…
本記事は Webデザイン事業部ウィーク 2024 2日目の記事です。 🌈 1日目 ▶▶ 本記事 ▶▶ 3日目 💐 はじめに こんにちは、フロントエンジニアの渡部です。 今までの経験としてはAnguarを用いてWebアプリのフロント開発をしてることが多いです。 今回は趣味で作ったWebアプリの紹介をAngular17に触れてみた感想とともにしていこうと思います。 はじめに 作った経緯 開発環境 アプリ開発 画面構成 作ってみた所感 今後の展望 用語説明 作った経緯 趣味で卓球をしており、数値化した自身のデータを見られるツールあったらと常々思っていました。 また、ここ数年最新のAngular事情を…
アメックスビジネスゴールドカード(法人カード)を持つメリットや優れた特典、年会費をご紹介します。 法人、個人事業主の経営者、副業をしている会社員やサラリーマンの皆様にもお持ちいただけます。 新しい特典・サービスが追加され、さらに魅力的になりました。 2021年8月3日発行分より金属製のメタルカードになり、セカンドビジネスゴールドカードでプラスティック製のACカードが年会費無料で持てるようになりました。 2021年4月よりビジネス・ダイニング・コレクション by グルメクーポン、DELL Technologies優待、追加カードごとの限度額設定など新しい特典・サービスが追加されました。 年会費が…
この記事について バックグラウンド 本業はTypeScriptを主に書いているWebエンジニアで社会人5年目。副業ではデータサイエンティスト/機械学習エンジニアをやっていてこちらも5年目。 この記事を書いた理由 最近読んだ「科学的根拠に基づく最高の勉強法」という本の中に、「思い出す頻度が高ければ高いほど定着する」という話があった。 なので、読んだ本の内容を思い出し定着させるきっかけとするためにこの記事を書いている。 科学的根拠に基づく最高の勉強法作者:安川 康介KADOKAWAAmazon 紹介する本のラインナップについて 統計や機械学習の理論をガチガチにするのは難しいと判断して、理論寄りの書…
アメックスビジネスゴールド(法人・個人)は、ビジネスに特化したゴールドカードです。 ビジネス経費の管理や削減に役立つ特典・サービスが付帯され、福利厚生までカバーするので経営者として多くのメリットを享受できます。 個人事業主、法人経営者、サラリーマンの皆様にお持ちいただけるビジネスカード・法人カードです。 アメックスビジネスゴールド、アメックスビジネスグリーンは新規ご入会キャンペーンを実施中です。 ▶アメックスビジネスゴールド 入会キャンペーン 他社の法人ゴールドカード相当の特典を付帯したアメックスビジネスグリーン ▶アメックスビジネスグリーン 入会キャンペーン ビジネスを強力にバックアップする…
一条工務店i-smileに入居して一年経過しました。ここまで東京電力のオール電化向けプラン「スマートライフL」を使っていました。 dededemio.hatenablog.jp 東京電力は基本料金が高いです。オール電化なので最大需要電力は高いですからこれは仕方ありません。 しかし、太陽光パネル&蓄電池があるので買電量はそこまで多くありません。そのため、基本料金無料プランのある新電力への乗り換えを考えています。 一方で2022年冬のように市場スポット価格が急上昇した場合は、電気料金が逆に高くなってしまう可能性も考えられます。 そこで、基本料金無料の新電力に乗り換えた時にどの程度電気料金が減るか、…
株探とは?有望株(銘柄)の発掘・選択をサポートするサイトです。株価、ニュース、決算、テーマや企業情報などが満載しています。株価変動要因となる情報や株式の売買タイミングに役立つ情報、迅速な投資判断ができる仕組みを提供します。決算発表の分析記事をリアルタイムで配信する『決算速報』 市場全体を俯瞰する『市場マップ』など、ユニークな情報が満載します!注目銘柄や話題銘柄のニュース、テーマなども掲載しています。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすい人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供…
はじめに 先日、弊社ソニックガーデン主催の「エンジニアのためのスキルアップ勉強会#2 自分が考える最高の開発環境」に参加しました。(登壇者ではなく視聴者として)sonicgarden.connpass.comその中で弊社の @ruzia がRubyMine愛、もといJetBrains愛を熱く語っていたのですが、同じRubyMineユーザーとして、彼の言うとおりRubyMine(およびJetBrains系IDE)の一番の強みはやっぱり、「デフォルトにして至高」つまり、「最初から全部入り」であることだな〜と再確認しました。 RubyMineじゃなくてもできるから、無料のエディタで十分? RubyM…
こんにちは、電通総研、Xイノベーション本部 AIトランスフォーメーションセンター所属の徳原光です。 普段は、主にPythonでPandasを使ってデータ分析やAI学習・推論のための特徴量を生成を行っていますが、最近KotlinでKotlin DataFrameを操作してデータ処理を実装する機会が増えました。 これまでローカル上で開発してきた機械学習モデルをONNXを使ってアンドロイドスマホで利用するために、スマホ上で動く前処理のコードを実装しているのですが、Kotlinを開発しているJetBrains社が開発しているKotlin DataFrameはデータサイエンスに必要な基本的な処理をサポー…