WebDriver

前回 紹介した"webdriver_manager"が特定のVPN環境ではダウンロードに失敗することが判明した。GoogleChromeのアップデートを停止する方法も考えたが、普段使いの時のセキュリティに問題が出てくる。 だったらインストールしなくていいGoogleChromePortableでSelenium動作を検証したらいいじゃない、というお話です。 展開したフォルダの直下に"GoogleChromePortable.exe"がありますが、これを起動ファイルとしないでください。Seleniumで操作できません。起動ファイルは"App\Chrome-bin"にある"chrome.exe"を…

と表示されてしまう件。 前回、Seleniumのアップデートをすることによってwebdriverの自動更新が簡単にできるようになると思い、試したところ別のエラーに再度ハマってしまったため、その解決に向けた備忘録となります。 スクレイピングを実行する際に、 NoSuchDriverException: Message: Unable to obtain driver for chrome using Selenium Manager.; For documentation on this error, please visit: https://www.selenium.dev/document…

SeleniumでWebページのスクリーンショット（キャプチャ）を取得 Seleniumを使用してWebページのスクリーンショット（キャプチャ）を取得するには、WebDriverのgetScreenshotAsメソッドを使用します。このメソッドは、Webページの画面をキャプチャして、画像ファイルとして保存することができます。以下は、Pythonを使用してSeleniumでキャプチャを取得する例です。 from selenium import webdriver # ブラウザの起動 driver = webdriver.Chrome() # ウェブサイトにアクセス driver.get("htt…

Seleniumでのjavascriptのイベント実行 SeleniumではJavaScriptのイベントを実行することができます。 例えば、以下のようなJavaScriptコードがあるとします。 document.getElementById("myButton").click(); これは、idが「myButton」の要素をクリックするJavaScriptのコードです。 このJavaScriptをSeleniumで実行するには、以下のようにします。 from selenium import webdriver # ブラウザの起動 driver = webdriver.Chrome() # …

Pythonを使用したサンプルコード 以下はPythonを使用したSeleniumのサンプルコードです。この例では、Googleの検索エンジンで「Selenium」を検索し、結果のページタイトルを取得する例です。 from selenium import webdriver # ブラウザの起動 driver = webdriver.Chrome() # Googleの検索ページにアクセス driver.get('https://www.google.com/') # 検索フォームに「Selenium」と入力して、検索ボタンをクリック search_box = driver.find_eleme…

SeleniumにてWebサイトアクセスなどを行っている時に発生するエラーには以下のようなものがあります（SessionNotCreatedException）。 (adsbygoogle = window.adsbygoogle || []).push({}); １．エラー発生内容 msedgedriverバージョン不一致エラー これは、EdgeのWebdriverであるmsedgedriver.exeのバージョンと実際に使用しているEdgeのバージョンが不一致というエラーです。 msedgedriver.exeのバージョンについては、最初の数値（110など）は一致していなければならないよう…

PythonでSeleniumを使用してWebサイトへアクセスする場合ですが、ドライバーを設定してのWebサイトへのアクセスを簡単な例を挙げて説明します。

2024/04/26分のコミットです。 CHANGELOGへの追加はありませんでした。 Skip selenium-webdriver version 4.20.0 Gemfileの修正です。 selenium-webdriver 4.20.0を使用しないよう修正しています。4.20.0でpublic APIが誤って消されてしまいRailsのテストがエラーになるため。 Fix Rake :preview_docs tarball Rakefileの修正です。 docのpreviewのtarballを作成するRakeタスクが正しく動作してなかったのを修正しています。 Resolve deprec…

はじめに こんにちは。ソーシャル経済メディア「NewsPicks」の QA/SET チームの海老澤です。 先日 弊社で E2E テスト実行するために Playwright を導入したため紹介させてください。 E2Eテストとは E2Eテスト（エンドツーエンドテスト）とは、ソフトウェア開発におけるテスト手法の一つで、アプリケーションが実際の運用環境と同様の条件下で正しく動作することを確認するためのテストです。 システムの開始点から終了点までを通じて、ユーザーの視点でアプリケーションのフローを追い、機能全体が連携して期待通りに動くかを検証します。具体的には、ユーザーが行うであろう一連の操作をシミュレ…

今回もPythonでseleniumを利用してセレクトタグのオプションを選択する方法についての説明になります。 これまでにセレクトタグで各オプションのインデックス番号からオプションの選択をする方法は記載していますが、今回は表示テキストにより選択する方法の説明です。 (adsbygoogle = window.adsbygoogle || []).push({}); １．選択方法 セレクトタグで表示テキストからオプションの選択を行う場合には、セレクト要素に対してselect_by_visible_text()を使用します（以下参照）。 select.select_by_visible_text(…

色々なシステムがごたまぜでよく分からなかったので、自分なりに調べたメモ。間違ってたら指摘ください・・。 まず、 ブラウザをプログラムから動かすためにはそのブラウザ用のドライバが必要。 昔は、それぞれのブラウザが独自実装していたらしいが、 Selenium が Webdriver という名前でそれらを吸収するHTTP APIを提供した。開発者は各ブラウザドライバの仕様を知らなくてもそのHTTP APIを用いれば各種ブラウザを扱うことが可能になる。それが後にW3Cで Webdriver として標準化された、という流れのようだ。つまり、 クライアント（開発者のプログラム）→(HTTP )→Selen…

Pythonでseleniumを利用してセレクトタグのオプションを選択する方法についての説明になります。 セレクトタグでは各オプションの表示テキストやインデックス番号からオプションの選択ができますが、今回はインデックス番号により選択する方法の説明です。 (adsbygoogle = window.adsbygoogle || []).push({}); １．選択方法 セレクトタグでインデックス番号からオプションの選択を行う場合には、セレクト要素に対してselect_by_index()を使用します（以下参照）。 select.select_by_index() 以下にChromeの場合の例を載…

過去記事インポート依頼中。前作ったのが動かなくなってたので修正 Seleniumが4になってたりなんだり？ ブログを削除はしないけど記事を全消ししたいときにご参照ください。 たまに止まりますｗ（再実行を繰り返すしかないｗ） # Use Webdriver Manager for Python: https://github.com/SergeyPirogov/webdriver_manager # Import code: from selenium import webdriver from time import sleep import re from selenium.webdrive…

Rubyの続きです。前回はRubyの分岐や反復など制御構造について書きました。今回からはWebフレームワークRuby on Railsに入っていきます！Railsチュートリアルにトライします。初回は環境構築編です。それではいきましょう！

Seleniumを使用してセレクトタグ（要素）にアクセスする場合には操作したり状態取得できることがいろいろとありますが、セレクトタグの選択する要素であるすべてのoptionを取得したいということもあるのではないかと思います。 (adsbygoogle = window.adsbygoogle || []).push({}); １．セレクトタグのoption取得方法 セレクトタグのすべてのoptionを取得する場合には、 select.options() を使用します。 以下に、Chromeにて、とあるセレクトタグのすべてのoptionを取得して各optionのテキストを印字するコード例を載せて…

今回はPythonとSeleniumを使って、Webスクレイピングの強力なテクニックであるXPathについて紹介します。 XPathはHTML要素を特定するための強力な言語であり、Webページからデータを抽出するのに役立ちます。 では、具体的な例を交えてXPathの使い方を紹介していきましょう。 (adsbygoogle = window.adsbygoogle || []).push({}); 目次 1.XPathとは？ ２．階層構造の表現例 ３．Chromeデベロッパーツールを使ってXPathを見つける方法 ４．Seleniumを使用したXPath指定での要素の取得 1.XPathとは？ …

Seleniumを活用して要素取得などをやり始めた頃に出るエラーの１つに「'WebDriver' objects has no attribute 'find_element_by_name'」というエラーがあります。 以下はその内容の説明と対処方法についてになります。 (adsbygoogle = window.adsbygoogle || []).push({}); 目次 １．find_elementの書式について ２．よく使われるfind_elementについて旧方式と新方式の書式一覧 １．find_elementの書式について たとえば、SeleniumをVer.3からVer.4に上げ…

概要 seleniumで、指定した要素をスクロールしてスクリーンショットを撮るためのメモ。 概要 背景と目的 詳細 0. 環境 1. スクリーンショットの対象サンプル 2. seleniumコード 2.0 キャプチャ対象要素を選択 2.1 対象要素をスクロール 2.2 指定した子要素が表示されるように親をスクロール 3. すべてのスクリーンショットを撮る まとめと今後の課題 背景と目的 seleniumを使って画面キャプチャをしていたところ、テーブルのすべての値をキャプチャするのにスクロールが必要だった。そこで、その方法をメモした。 なお、ブラウザのウインドウサイズを大きくすればすべて表示され…

PythonでSeleniumを利用してWebサイトへウインドウアクセスする場合には、まずは、対象のウインドウを表示させるところからはじまります。 その後、画面内の要素の取得などを行いますがそれらについては、過去記事で記載しました。 kuku81kuku81.hatenablog.com kuku81kuku81.hatenablog.com 今回は表示した画面に関してウインドウの最大化とスクロールをする方法の説明になります。 簡単な使用例として載せているものは、Chrome用になりますがドライバーの設定以外はEdgeなどでも同様です。