CSV

検疫に隔離されたメールを一覧でCSVファイルに出力する場合、Powershell で Get-QuarantineMessage を実行することで可能です。 なお、検疫はスパム、マルウェア、フィッシングなどで判定された場合に、隔離される場所です。 以下の記事も参考としてくださいね。 it-bibouroku.hateblo.jp 以下にGet-QuarantineMessageコマンドレットをご紹介します。 (adsbygoogle = window.adsbygoogle || []).push({}); 以下のサイトの手順にて、Exchange Online に接続してから実行してください…

Puppeteerを使ってWebスクレイピング・日程をCSVファイル化するスクリプトを組んでいるので、Googleカレンダーに一瞬で試合日程を取り込むことが可能。これぞハック。 開幕まで1か月を切ったところで、今年の日程が公式サイトで発表されたので、さっそくスクリプトを走らせてCSVファイルを作った。 これを見ている人がいるのか分からないけど、見かけた人は自由に利用してもらってOKです。 Googleカレンダーへのインポート方法は公式のヘルプのとおり CSVファイルは自分のGoogleドライブに置いている シーズン後半の日程は未確定のため、確定の報が入り次第追加取得する スクリプトを置いている…

新しめのawkには面倒なCSVファイルを処理対象としてうまく処理するオプションが追加されている。 awk --csv を使え 少し説明 面倒なCSVファイルとは例えば以下のようなもの "カンマが,ダブルクォート内に含まれていたり",this field has spaces,,"" 上のCSVを何もせずにawkに通すと、1フィールド目は「"カンマが」になってしまう。 すぐに見つかるワークアラウンドとして、FPATという変数にフィールドの定義を代入する方法がある。 ところが、世の中にCSVとして流通しているものを食わせると破綻する場合がある。 特に、フィールド内に改行が含まれているとFPATでは…

" data-en-clipboard="true">UA Backupでユニバーサルアナリティクスのデータを安全にエクスポートしよう! " data-en-clipboard="true"> " data-en-clipboard="true"> はじめに 皆さん、こんにちは！ウェブサイトのアクセス解析に使っているユニバーサルアナリティクス（Universal Analytics）のデータを、もう一度確認できる方法を知っていますか？実は、2024年6月までに古いバージョンのユニバーサルアナリティクスで収集されたデータは消失するんですよ。そこで今回は、データのバックアップを手軽に行える「UA …

CSVは、”検索ワード_result.csv”でワークスペースに保存される｡ import os import csv from googleapiclient.discovery import build ws = "ここにワークスペースを入力" os.chdir(ws) # YouTube APIキーを設定 api_key = "ここに自分のAPIキーを入力してください" #keyword keyword = "keywordを入力" # YouTube APIのビルド youtube = build('youtube', 'v3', developerKey=api_key) def s…

import os main_fd = "作業用フォルダを書く" os.chdir(main_fd) from pytube import YouTube import csv #関数を定義 def download_youtube_video(url, output_folder): try: yt = YouTube(url) video = yt.streams.filter(file_extension="mp4", progressive=True).first() video.download(output_folder) print(f"Video {yt.title} down…

気軽にRStudioを使ってグラフを吐き出そうと思ったら、思わぬところで引っかかったのでメモ。 R言語でCSVファイルを読み込む際にはread.csv()を利用するのが便利だ。 例: demo1.R data <- read.csv('demo.csv', header=TRUE, row.names=1, encoding="UTF-8") 例:demo.csv 商品名,10月,11月,12月 商品A,100,110,120 商品B,110,110,100 商品C,120,100,110 CSVなので分かりにくいけれど、データのイメージとしては以下のような感じ。 数値については月毎の商品の売…

素晴らしきDjango Djangoは、データベースを用いたアプリケーションを作るのに非常に効果的なツールです。Webサイトでつくれないものはないほど。Djangoの備えている機能について解説します! モデル層 Django は、Web アプリケーションのデータ構造を定義し、操作するための抽象レイヤ「モデル (models)」を提供しています。モデルを使うことで、データベース操作のための複雑な SQL 文を書く必要がなくなります。 モデルの基本 モデルインスタンスの操作 マイグレーションとデータベース その他の高度な機能 ビューの基本 ファイルアップロード クラスベースビュー 高度なビューの実…

Pythonのデータ分析ライブラリであるPandasは、多くのデータサイエンティストやエンジニアにとって欠かせないツールです。ここでは、Pandasを効果的に活用するためのチートシートを作成しましたので紹介します。体が覚えるまでブックマークして利用してみて下さい。 データの読み込みと表示 色々なファイルやデータソースからデータを読み込む 読み込みの際の条件を指定する データの表示 基本的なデータの表示方法 属性（アトリビュート）を利用した表示方法 データの基本統計量の確認 データの統計量の概要を確認する 特定の統計量を表示 データの選択とフィルタリング データのソートとグルーピング 欠損値の処…

前も書いたかもしれませんが、私はVaio Type pというパソコンが人生で最も好きでした 8インチでお尻のポケットに入るという衝撃的なパソコンで、トラックポイントも付いている横長のパソコンでした 五年くらい使っているうちに、さすがにパフォーマンスの悪さが気になり、それからあまり使わなくなりました ですが、別のパソコンを使いながらも、そのコンパクトさやキータッチの良さ、外観の美しさを思い出さずにはいられませんでした 現に、私は使わなくなったパソコンはすぐに売却するのですが、Vaio Type pだけは未だに持っています そして時は経ち、ひっそりとうり二つと言わんばかりの端末が登場しています そ…

まだまだ続くよどこまでも。勝手に続く勝手に回答シリーズ。今回もJuliaLang Discourseから How to check what other packages an installed package uses?という質問です。 実は私が過去に書いた日記にujimushiの日記： julia言語でインストールしているパッケージの依存関係をなんちゃってツリー表示する というのがあってそれを使えばいいかも，とか思います。 ソースを再掲。 using Pkg """ print_pkg_dependencies(pkgname, limit=2) print a tree of `pkg…

お疲れさまです！！ 今回はテスト自動化ツールであるNEEDLEWORKを使用したネットワーク構成及びネットワーク疎通テストの要領について紹介したいと思います！！ 実はもっと前にブログを書こうかなと思っていたのですが。。 バタバタしていてこの時期になってしまいました。。 すでに分かりやすい記事もあるので。。。 またまだ出遅れ感が否めませんが。。(;^_^A 参考になる記事 ネットワークのおべんきょしませんか？ネットワークテストを自動化！NEEDLEWORKがスゴイ！ www.n-study.com お品書きです～ １ NEEDLEWORKとは？？ ２ NEEDLEWORKの入手方法 ３ NEED…

たびらいとは？たびらいは地域ごとの観光情報や体験プラン、グルメ情報などを提供する旅行情報サイトです。自然や歴史、文化に関する情報からアウトドアアクティビティやレジャー施設まで、幅広い旅行情報が掲載されています。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすい人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99％のWebスクレイピングを満たします。ScrapeStormにより、大量のWebデータを素早く正確的に取得できます。手動でデータ抽出が直面するさまざまな問題を完全に解決…

また違うコンペに挑戦です！ www.kaggle.com 前回はサブミットまで行かなかったので、その反省を踏まえて最初にサンプルデータでサブミットする形を作る！ということをやってみました。理由はその大枠の形を作ることで、例えモデルが拙くても、いつでも提出はできる状態を作るためです。もちろんオリジナルな考えでなく以下のサイトを参考にしました。 kaggle初心者の私が3ヶ月でソロゴールドを獲得した方法 | Ad-Tech Lab Blog 久しぶりなので時間がかかる。。。 ところが提出の手順自体が久しぶりなので、ここですらエラーが出ました笑。ので、メモがてらエラーと対策残しておきます。まずsam…

Sub CsvImport001Management()'CSVにLFコードで改行があるファイルを読み込む Dim i As long Dim ado_strem As New ADODB.Stream Dim buf() As Byte Dim tmp As Variant, tmp2 As Variant 'File変数 Dim filePath As String filePath = "C:\Users\XXX\テスト.csv" With ado_strem .Type = adTypeText .Charset = "UTF-8" .Open .LoadFromFile (fileP…

「文字数制限あるのめんどいわ～」 現在仕事で決済フォームを作成する依頼のリーディングをしてるんですが、フォームによくある「任意入力項目」（備考とか詳細とか）を設置する場合、文字数制限を施します。例えば備考を設置して任意入力にした場合、文字数制限をしなかったら、1000文字越えの大作級のコメントを頂くことになる可能性があります。データベース蓄積を想定した場合、データ容量は、なるべくタイトにしたい。分析する場合は簡潔に要点を絞ったデータを利用したいと考えるのは最もな正論だと考えます。（要件定義では必ず確認する項目になります） 今回はユーザーからしたらちょっと嫌われがちな「文字制限」を解消する、文字…

最近ちょっとだけクイズのやる気が出てきた（みんはやS1になりたい）ので、座学の環境を整えることにしますた。 2022年にほんの1～2か月だけ腰を据えて座学をしていた期間があったんだけど、そのころはお馴染みのAnkiを使っていた。巷で手に入れた問題集をExcel経由でtsvファイルにしてAnkiにぶち込む。1日200枚の新規カードで進めて復習と合わせて毎日800枚2～3時間くらいは頑張ってたかな？Ankiは多分めちゃめちゃ効率よく記憶を定着できてよかったんだけど、そのためのストイックさみたいなのに辟易してしまった部分がある。正直しんどいねん当時は(一瞬だけ)トッププレイヤーを目指していたのでスト…

Roomデータベースのテスト方法も聞いてみました。 コンテキストはInstrumentationRegistry.getInstrumentation().targetContextで取得します。データベースは、インメモリーデータベースを、RoomのinMemoryDatabaseBuilder()を使用して作成します。 以前、アプリを作成したときはこの方法を知らず、逐一本番環境で実行して間違えたら処理を書き直して再度実行という気の長いことをしていました。 公式ドキュメントを見てもやり方が分からなかったのですよね・・。 RoomデータベースをJUnit4でテストする方法を教えてください。 上記…

HistData.comのヒストリカルデータをMT5にインポートしてみる。 先ずHistData.comからヒストリカルデータを手動でダウンロードするが、データをインポート用のファイルに変換するためにPythonを使っている。 HistData.comは有志のトレーダーによって運営されており、FXを中心に、株価指数や商品のヒストリカルデータを無料、無登録でダウンロードできる。 ただ、データの信頼性は不明である。 基準時間や夏時間の有無なども個々のデータで確認したほうがいい。 HistData.comのホームページ：https://www.histdata.com/ MT4/5用のヒストリカルデ…