Hatena Blog Tags
はてなブログ トップ
Puppeteer
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Puppeteer

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ベーコンになります。•1年前

Jリーグ2024シーズン ガンバ大阪試合日程 カレンダー取り込み用CSVファイル

Puppeteerを使ってWebスクレイピング・日程をCSVファイル化するスクリプトを組んでいるので、Googleカレンダーに一瞬で試合日程を取り込むことが可能。これぞハック。 開幕まで1か月を切ったところで、今年の日程が公式サイトで発表されたので、さっそくスクリプトを走らせてCSVファイルを作った。 これを見ている人がいるのか分からないけど、見かけた人は自由に利用してもらってOKです。 Googleカレンダーへのインポート方法は公式のヘルプのとおり CSVファイルは自分のGoogleドライブに置いている シーズン後半の日程は未確定のため、確定の報が入り次第追加取得する スクリプトを置いている…

#J リーグ#ガンバ大阪#Puppeteer#CSV

関連ブログ

開拓馬の厩•2年前

Puppeteer を用いたアプリケーションから Chrome を切り離す

Puppeteer を用いた web スクレイピングアプリケーションの起動中に CPU/memory 使用量が荒ぶるので何とかしたいなあと思って最近対策を考えています Puppeteer は内部で Chrome (Chromium) を起動しているので、スクレイピングのロジック部分と Chrome を分離すればリソース割り当てがやりやすくなりそうなので挑戦してみます 書いたコードはこちら↓*1 github.com 実験台 ここに Puppeteer を使った適当なアプリケーションがあります（Puppeteer 公式サイトのサンプルをコピペしてちょっと手を加えたもの） # index.ts i…

#Kubernetes#Docker#Puppeteer#SRE
新しいことにはウェルカム•2年前

Selenium・puppeteer・Playwrightでファイルドロップする

ここしばらく、Selenium・puppeteer・Playwrightの使い方をまとめていました。 まとめが長くなってきたので、ある程度の説明や手順が必要な操作は別記事にまとめようと思います。 ここでは、Selenium・puppeteer・Playwrightそれぞれで、ファイルドロップする方法をまとめました。 はじめに ファイルドロップとは、ローカルファイルをWebページの指定場所にドロップすると、そのファイルがWebにアップロードされるようなページを想定しています。 Google画像検索のファイルアップロードのようなものです。 そういったファイルドロップする関数が、Selenium・p…

#Selenium#クローラー#クローリング#スクレイピング
新しいことにはウェルカム•2年前

Selenium・puppeteer・Playwrightで無限スクロールする

ここしばらく、Selenium・puppeteer・Playwrightの使い方をまとめていました。 まとめが長くなってきたので、ある程度の説明や手順が必要な操作は別記事にまとめようと思います。 ここでは、Selenium・puppeteer・Playwrightそれぞれで、無限スクロールする方法をまとめました。 スクロール 無限スクロールの手順に入る前に、まずは基本となるスクロールをする方法です。 JavaScriptのElement.scrollTopを使って、ウィンドウのdomのスクロール位置を移動させる方法もあるのですが、ここではElement.scrollIntoView()を使って…

#Selenium#クローラー#クローリング#スクレイピング
新しいことにはウェルカム•2年前

puppeteerの使い方メモ

以前、SeleniumとPlaywrightの比較のため両方を検証していました。せっかく使い方を覚えたので、また必要になった時にすぐに思い出せるよう下記記事に簡単に使い方をまとめました。 元々クローラーとしてpuppeteerを使っていたので、Selenium・Playwrightをまとめたのなら、puppeteerは外せないでしょということで、ここにpuppeteerの使い方を簡単にまとめてみることにしました。 ただ、SeleniumとPlaywrightを検証した結果、今はPlaywrightをメインで使っています。なので、通常使いの向けの網羅的なまとめではなく、puppeteerのお作法…

#Selenium#クローラー#クローリング#スクレイピング
頭ん中•2年前

Puppeteerを使った税金支払い節約術

はじめに 通常は現金しか使えない税金・公共料金の支払いに、セブンイレブンでnanaco払いを使うという節約術は、その筋では昔から有名です。クレジットチャージの改悪等で昔より旨みは減ってしまいましたが、2023年現在の主流は福利厚生サービス「ベネフィット・ステーション」等で手に入れたnanacoギフトコードを使う方法です。この方法のいいところは2つあります。 還元率は1%～2%くらい。（時期によって変動、大体1.5%） nanacoギフトはチャージ上限が無いので高額な支払に使える。*1 ただし、この方法には致命的な問題があります。nanacoギフトは1枚1000円なので、まとまった額の支払いとな…

#Puppeteer#節約術
虎の穴ラボ技術ブログ•2年前

コードを一切書かずにChromeとPuppeteerで動作テストを行えるか試してみた

こんにちは。虎の穴ラボのH.Hです。 本記事は虎の穴ラボ Advent Calendar 2022 - Qiita 6日目の記事です。 5日目はhk220さんの「GoogleSitesをMarkdownに変換するChrome拡張を作ってみた」でした。 また、明日7日目はrhさんの「国産ヘッドレスCMS「Newt」を使ってみた」です。 今回ですがChromeとPuppeteerを使用してコードを一切書かずにWEBアプリケーションの動作テストを行うことができるのかを調べてみました。 なぜコードを書かずに動作テストができるかを検討するのか？ 過去に以下の記事で紹介したように動作テストの簡略化を検討し…

#Puppeteer#chrome#Recoder
Hajimari Tech Blog| 株式会社Hajimari•2年前

puppeteerでbootstrap導入時の影響調査をやってみた！

こんにちは！ 6月から23卒内定者インターン生として株式会社Hajimariに入社した、江端 凌です。 普段は、TUKURÜS事業部で受託開発の業務に携わっています。 今回は受託開発している既存サイトに、bootstrapを導入することになったので、どのような影響が出るのかを調査することになりました。 背景としては、既存サイトのCSSの複雑化と適切なブレークポイントの設置が出来ていなかったことから導入に至りました。 そこでbootstrapの導入前と導入後を比較するために、node.js製のライブラリであるpuppeteerを利用して全ページのスクリーンショットと差分画像を生成しました！ 今回…

#エンジニア
新しいことにはウェルカム•2年前

Selenium と Playwright の両方を使ってみた感想

WebのクローリングにPuppeteerを使っています。 いつかPuppeteerの使い方をまとめたいなと思っていたのですが、そうこうしている内に月日は流れ、Puppeteerと同様のブラウザ操作ツールとして、Playwrightの名前をよく聞くようになってきました。 ならばいっそのこと、新たにクローラーを書く時はPlaywrightに乗り換えて、その使い方をまとめようかなと思い始めました。 一方、ブラウザ操作ツールとしてSeleniumも有名です。 Microsoft Power AutomateでSeleniumが使えると聞いたので、Seleniumならクローリングだけでなく、日々の業務の…

#JavaScript#Python#Selenium#TypeScript#クローラー#クローリング#スクレイピング
emp1tsu’s diary•3年前

Puppeteerを使ってE2Eテストを始める

E2E テストとは End to End テストの略語で、システム全体を通して行うテストのことです。 例えば、Web アプリで E2E テストを行う場合、実際にサーバー、ブラウザを立ち上げた状態でブラウザの操作をしながらテストをします。 E2E テストのメリット 実際に動作するシステムと(ほぼ)同じ状態でテストできる E2E テストのデメリット 手動でテストをすると内容にばらつきが出る 実行に時間がかかる 簡単な修正でもテストが動作しなくなるため保守コストがかかる E2E テストをするうえで、保守コストはかなりかかってくるので、重要な箇所に絞るや、テスト実行を自動化する等の工夫が必要になってき…

#Puppeteer#JavaScript