headless chrome

前提条件 google-chrome と chromedriver*1 はインストール済みとします。 結論 rails_helper.rb に以下の行を追加します。chromedriver のパスは個々人のインストール場所によって書き換えます。 Selenium::WebDriver::Chrome::Service.driver_path = '/usr/bin/chromedriver' 補足 解決策の一つの例であり、この方法では解決しないかもしれません。 参考 gist.github.com *1:WindowsのものではなくLinuxのもの

はじめに Herokuでwebスクレイピングをするため、ブラウザを立ち上げるにはどうするのでしょう？ seleniumとchromeを用いた方法を紹介します。

前回スクレイピングが出来るようにchromiumとseleniumを入れる工程をまとめました。 それは2021/01/19現在も、コピペするだけで動作する内容になっているのでもう少しパワーアップさせようと思います。エラーで落ちたり、再起動したりすると手動で起動し直す必要がありますた。 そこで今回はもっと手軽に使えるようにするため、それをサービスとして登録し自動起動できるように設定していきます。

Headless Chrome 命令言語で動かせるChromeのこと Headless Chromeで可能なこと 導入する意味は？ 業務の自動化 ネット上の情報の自動収集 Headless Chrome操作ライブラリの比較 puppeteerとは chromyとは Headless Chromeの使えるようにする方法 環境構築の手順 puppeteerのダウンロード chromyのダウンロード Headless Chromeの使用方法 主な使用方法 コマンドライン機能 DOMの出力 PDFの作成 スクリーンショットの撮影 ブラウザUIなしでのChromeのデバッグ プログラムから使用する、No…

URLが含まれるリクエストを受け付けて，そのURLにブラウザでアクセスし，描写された内容をスクリーンショットしてPNG画像を生成し，その画像をレスポンスするWebサービスを作成した時の話です． なお，このWebサービスはみーが個人的に利用するために作成したものであり，公開しておりません． Cloud Functionsで実装を試みる Chromeを自動操作するpuppeteerというNodeライブラリーを使うことにしました．page.screenshot([options])関数があり，簡単に目的のWebサービスが作れそうだからです． Node.jsが実行可能なサーバーレス環境として，Clou…

この記事はBASE Advent Calendar 2020の22日目の記事です devblog.thebase.in どうもこんにちは、Web Frontend Groupの青木です 今回は、個人的にWeb開発を補助する目的でPuppeteerを使っていることがあるので、その話をします 前半では、普段どう使っているのか 後半では、ブラウザ操作を記録してコード生成してくれるRecoderについて紹介します そもそも、Puppeteerって? Puppeteer is a Node library which provides a high-level API to control Chrome…

Botpress Contents 英語版 1. はじめに 2. 前提条件 3. ルーティング 4. JSONコンバーター 4-1. コントローラー 4-2. ビュー 5. Converse API 5-1. コントローラー 5-2. ビュー 6. E2Eテスト 7. まとめ 8. 成果物

ちょっと利用したくなったのでKotlin 1.4のキャッチアップも兼ねて作りました。 環境は Kotlin 1.4.21 dukat 0.5.8-rc.3 Node 12 です こんな感じで任意のURLのキャプチャがSlackに投稿されるものです。 前回触った記事はこちら sakebook.hatenablog.com kotlin 1.4でどう変わった KotlinのJSの実装は package_imported/ というフォルダに展開されていました。しかしプロジェクト の package.json にその参照はされていませんでした。なので、解決のためにはnpm registryから取得して…

はじめに 環境 前提条件 テーブル構成 Userテーブル Taskテーブル ルーティング モデル Userモデル Taskモデル テスト要件 実装 手順 Capybaraの導入 RSpecの実行結果を見やすくする設定 SystemSpecファイルの作成 loginメソッドをmoduleに切出し TasksSpecの実装 UsersSpecの実装 UserSessionsSpecの実装 詰まったところ はじめに 今回は、システムスペックについて学習したので備忘録を書いていきます！ EverydayRailsではUIのテストはフィーチャースペックで説明されていたのですが、こちらの記事で伊藤淳一さん…

題名の通り、意気込んで申し込んだCfP が採択されて初の25分登壇に臨んだのですが、時間切れとなってしまいまして、自分が「本番でしか起きない問題」をやっちゃったなーという振り返りのブログです。 登壇に臨んだのは PHP Conference Japan 2020 であります。 関連する connpass イベントは３つ公開されており、全てに参加申し込みしました。 登壇資料はこちら。 これまでの GitPitch(3.0) と違って右下にカーソル のガイドが出てこないので、見るときはスペースで進めてください。左下の三本線で ToC が出てくるのでページジャンプもできます 1 GitPitch P…

はじめに この記事は Classi Advent Calendar 2020 の 10 日目の記事です。 昨日はそーだいさんが書いてくれました。 soudai.hatenablog.com 今回は Angular アプリケーションの E2E テストフレームワークを Cypress に変更する方法について紹介します。 Angular CLI でアプリケーションを作成すると標準で Protractor が E2E フレームワークとしてインストールされています。 $ ng e2e コマンドを打つだけで実行できるように環境設定がされているので、テストを書き始める敷居はとても低いと感じます。 一方で 公…

この記事は Lancers（ランサーズ） Advent Calendar 2020の9日目の記事になります。 qiita.com まえがき ピックアップしたもの チャタる Slackのアイコンを自分の顔にした スプレッドシートをスプシ言うかスプレと言うか Wayする【動詞】 テスト環境で使えるクレジットカード番号 VSCode系 CakePHPのテンプレートとjQueryとインテリセンス Save and Run で自動でテストと整形するようにする みんなのClipyを晒す会 GitHubのコメントをスニペット化 業務効率系のスクリプトをスニペット化 SlackBot開発 Botがチャンネルを…

本投稿は TECOTEC Advent Calendar 2020 の7日目の記事です。 投資戦略システム事業部サーバーエンジニアの伊奈です。 今回の記事は Webhookでのティック取得から東証「arrowhead」への流し込み の後編です。 国内株の自動売買や独自の分析チャートを描画できたトレードステーションがサービスを終了したため、一から自動売買のシステムを作ることにしました。 自動売買のシステムは大きく分けると次の、一. 歩み値情報の収集、二. 歩み値情報の加工とシグナルの算出、三. ブローカーへの発注の3つに分かれると思います。 前編ではその一の歩み値を収集する工程において使用した、…