Hatena Blog Tags
はてなブログ トップ
Puppeteer
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Puppeteer

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ぽっぺんしゃんにょろりんこ•1ヶ月前

PuppeteerとNode.jsで自動クロール。動的・静的ウェブページのURLを抽出するというお話

こんにちは、にょろりんこの備忘録的技術ブログです。 今回は、自作クローラシリーズの中核ともいえる「URL収集ロジック」について紹介してみようと思います。 静的なHTMLページはもちろん、JavaScriptでリンクが後から描画される動的ページ（SPAなど）にも対応できるように設計しています。 具体的には、Puppeteer と Node.js を使って、指定したページを開いて自動でスクロールし、`<a>` タグをすべて抽出する処理です。 補足：SPAとはなにか？ SPA（Single Page Application）とは、「ページ遷移が発生しない」タイプのWebアプリケーションのことです。普…

#Web開発#ウェブ開発#Puppeteer#Node.js#スクレイピング

関連ブログ

ぽっぺんしゃんにょろりんこ•1ヶ月前

Node.js + Puppeteerでサムネイル画像を動画ページから抽出するという話

こんにちは、にょろりんこの備忘録的技術ブログです。 今回は、動画ページから最適なサムネイル画像URLを抽出するためのモジュール、fetch-image.js をご紹介します。 これは、私が開発・運用しているポルノ動画検索エンジン「Sae-Porns」の中でも、ユーザー体験に直結する非常に重要な処理のひとつです。 検索結果の画面で最初に目に入るのがサムネイル画像。つまり、ここで失敗するとクリックされない＝見てもらえないわけです。 ティアラ_ティータイム ところが実際の動画ページというのは、サイトによってHTML構造がバラバラ、さらには構造化データの欠落や、JavaScriptによる遅延読み込みな…

#ウェブ開発#Web開発#個人開発#Node.js#Puppeteer
ぽっぺんしゃんにょろりんこ•1ヶ月前

Node.js + Puppeteer で動画タイトルをなるべく正確に取得する方法

こんにちは、にょろりんこの備忘録ブログです。 今日は Sae-Porns の中でも地味だけど重要な処理──動画ページのタイトルをなるべく正確に取得する仕組みについて解説します。 今回取り上げるのは、以下のモジュールです： async function fetchTitle(page) { let finalTitle = null; const jsonLdHandle = await page.$('script[type="application/ld+json"]'); if (jsonLdHandle) { const jsonText = await page.evaluate(el…

#Web開発#ウェブ開発#Node.js#Puppeteer
ぽっぺんしゃんにょろりんこ•1ヶ月前

Node.js + Puppeteerで不要リソースをブロックし、軽量＆安全にページを取得するという話

こんにちは、にょろりんこ的、備忘録技術ブログです。 以前に「インデックスする必要のないページは最初から開かない」という話をしましたが、今回は逆に「開いたページでも、いらないものは一切読み込まない」という話です。 関連記事 pop-ancient.hatenablog.com pop-ancient.hatenablog.com 特に動画サイトには、画像・スタイル・フォント・外部スクリプトなど、不要な通信のかたまりが大量に含まれています。 Sae-Pornsでは、これらを一網打尽にブロックすることで、圧倒的な軽量化を実現しています。 これは「ただのページ遷移」ではありません 本来、fetchEl…

#ウェブ開発#Web開発#個人開発#技術ブログ#Sae-Porns#Node.js#Puppeteer
cateiru のブログ•2ヶ月前

astral を使用して deno からブラウザを操作する

astral とは スクリーンショットを撮る 指定した要素のスクリーンショットを撮る 1. スクロールする前の初期位置の状態で絶対座標を取得する方法 2. スクロール量を取得する方法 フォームを自動で入力する 1. 文字入力型 2. クリック型 3. value に値が入るケース 4. select おわりに deno は使っていますか？使っていますよね？ そして、 Puppeteer のようにスクリプトからブラウザ操作をしたいということが良くあります。ありませんか？ 本エントリでは、 deno 版の Puppeteer である astral を使用したブラウザの操作について紹介します。 No…

#Puppeteer
ゼスト Tech Blog•4ヶ月前

Puppeteerに初チャレンジしてうまくいかなかったところのまとめ

こんにちは。株式会社ゼストでエンジニアをしている武藏です。 本記事では、Puppeteerに初チャレンジした私が、「こうすればよかったかも」と思った課題感とその対策を紹介します。 Puppeteerとは Puppeteerは、DevToolsプロトコルまたはWebDriver BiDiを介してChromeやFirefoxを制御するための、高水準APIを提供するJavaScriptライブラリです。 Webページの自動操作、スクリーンショットの取得、PDF生成、フォーム送信、UIテストなど、ブラウザで手動で行うほとんどの操作を自動化できます。 主な特徴として、 ヘッドレスモード: ブラウザのUIな…

#Puppeteer
okadak1990’s blog•5ヶ月前

Emailでの２段階認証のログインをpuppeteerでやってみる。

目的 最近Headless Chromeを使っていろいろ作業することが増えてきた。 で、2段階認証をスキップしたい事例が出てきた。とりあえず、Emailでの認証を突破したく試してみた。 方法 Gmailを作成する。 Gmail APIを使ってGmailのコンテンツを取得可能にする。 puppeteerとかで、対象サイトにログインする。 ログイン後数秒メールが届くのを待つ。 届いたら、2段階認証のところにコードを入力する。 ログイン完了!! 事前注意 調べたところ、Google workspaceがないと、Service Account を使って、Google APIを使えなかった。 理由として…

#Puppeteer#Gmail
ベーコンになります。•1年前

Jリーグ2024シーズン ガンバ大阪試合日程 カレンダー取り込み用CSVファイル

Puppeteerを使ってWebスクレイピング・日程をCSVファイル化するスクリプトを組んでいるので、Googleカレンダーに一瞬で試合日程を取り込むことが可能。これぞハック。 開幕まで1か月を切ったところで、今年の日程が公式サイトで発表されたので、さっそくスクリプトを走らせてCSVファイルを作った。 これを見ている人がいるのか分からないけど、見かけた人は自由に利用してもらってOKです。 Googleカレンダーへのインポート方法は公式のヘルプのとおり CSVファイルは自分のGoogleドライブに置いている シーズン後半の日程は未確定のため、確定の報が入り次第追加取得する スクリプトを置いている…

#J リーグ#ガンバ大阪#Puppeteer#CSV
開拓馬の厩•2年前

Puppeteer を用いたアプリケーションから Chrome を切り離す

Puppeteer を用いた web スクレイピングアプリケーションの起動中に CPU/memory 使用量が荒ぶるので何とかしたいなあと思って最近対策を考えています Puppeteer は内部で Chrome (Chromium) を起動しているので、スクレイピングのロジック部分と Chrome を分離すればリソース割り当てがやりやすくなりそうなので挑戦してみます 書いたコードはこちら↓*1 github.com 実験台 ここに Puppeteer を使った適当なアプリケーションがあります（Puppeteer 公式サイトのサンプルをコピペしてちょっと手を加えたもの） # index.ts i…

#Kubernetes#Docker#Puppeteer#SRE
新しいことにはウェルカム•2年前

Selenium・puppeteer・Playwrightでファイルドロップする

ここしばらく、Selenium・puppeteer・Playwrightの使い方をまとめていました。 まとめが長くなってきたので、ある程度の説明や手順が必要な操作は別記事にまとめようと思います。 ここでは、Selenium・puppeteer・Playwrightそれぞれで、ファイルドロップする方法をまとめました。 はじめに ファイルドロップとは、ローカルファイルをWebページの指定場所にドロップすると、そのファイルがWebにアップロードされるようなページを想定しています。 Google画像検索のファイルアップロードのようなものです。 そういったファイルドロップする関数が、Selenium・p…

#Selenium#クローラー#クローリング#スクレイピング