Selenium

はじめに 定義 URLを指定して開く URLを取得 待機（単位はミリ秒）*1 各種エレメントを取得 要素の数を数える 値を入力 ドロップダウン（プルダウン）メニューの選択 値を取得 ボタンをクリック 複数画面の処理 ポップアップ（アラート）の処理 *5 はじめに 「VBAでEdgeを使用する方法① 準備編」の続き 調べながらの作業のため間違いあり 参考：VBAのスクレイピングを簡単楽にしてくれるSelenium ここではよく使うものをメモとして残している。 定義 Dim driver As New Selenium.EdgeDriverDim keyword as String, myStri…

前提条件 google-chrome と chromedriver*1 はインストール済みとします。 結論 rails_helper.rb に以下の行を追加します。chromedriver のパスは個々人のインストール場所によって書き換えます。 Selenium::WebDriver::Chrome::Service.driver_path = '/usr/bin/chromedriver' 補足 解決策の一つの例であり、この方法では解決しないかもしれません。 参考 gist.github.com *1:WindowsのものではなくLinuxのもの

こんにちはbudouです！ 今回はPythonを使ったスクレイピングに関して書いていきたいと思います。 やりたいこと スクレイピングに関しては以前にも何パターンか書いたことがありますが、今回は「法人番号のリスト」から「社名・所在地・業種」を取得したいと思います。 はじめに 実話ですが、下記のようなやり取りがありました。 クライアント）「取引先6000社を業種ごとに分類してデータを見たいよー」 私）「はーい」 ... データを見てみたあと 私）え、業種の情報ないぢゃん！人手だけでやるには...1日で終わらないぞこれ... みたいな事がありスクレイピングして情報を取ってくることに。 そんな時に書い…

本記事は Qiita の「テスト駆動開発 Advent Calendar 2020」の12月12日の記事です。 長くなってしまったので、目次だけでも読んでいってください！ 経緯とモチベーション 使用した技術や環境 やってみた所感 開発初期はとにかくスピードが出ません テストコードのリファクタリングが功を奏した プロダクトコードのメンテナビリティ テストの実行に時間がかかる 結合テスト以降の障害 テストの粒度 画面の状態の粒度 画面の状態一つに対するチェックの粒度 ドメイン知識を得られるか？ コンポーネントについての知識 画面のデザインや要素の構成 画面の要素の細かな挙動 APIのリクエスト／レ…

はじめに DockerでSeleniumの環境を作成したので、LravelDuskをインストールしてテストを実行してみる。 px-wing.hatenablog.com LaravelDusk パッケージ インストール Laravelのバージョンによってインストールできるバージョンが異なるため、公式サイトを参考にインストールコマンドを実行する memory_limitを指定しないとメモリーリークで落ちるため、指定しております。 php -d memory_limit=-1 /usr/local/bin/composer require --dev laravel/dusk:"^2.0" ※ご自…

こんにちは、前回までで一通りブログのカスタマイズが終わったので、これからは主にプログラミング関連になるとは思いますが、何かしら学んだことを日々書き連ねていきたいと思います今回はPythonのSeleniumに関する記事です Seleniumでブラウザ操作を自動化するにあたり必要なこと WebDriverを手動で更新する場合の問題点 WebManagerの使用方法 WebManagerのインストール サンプルコード 参考リンク Seleniumでブラウザ操作を自動化するにあたり必要なこと Chrome,Firefox,Edgeなどウェブブラウザは様々ありますが、それらの操作を自動化するための前提…

はじめに どうも44takaです。 最近、Seleniumの勉強も兼ねてマッチングアプリ「Omiai」にログイン、女性のプロフィールを見て自動で足跡をつけるプログラムをPythonで作ってみました。 （いいねを増やしたい、という下心がきっかけなのは内緒。） Seleniumとは？ Webサイトを自動で動かす技術です。 よく自動テストで使われていますが、JavaScriptで画面描画するWebサイトの増加でスクレイピング目的で使うことも増えてます。 環境情報 自分のPCで作成したので、その時の環境情報をのっけます。 macOS Catalina 10.15.5 Docker version 19…

この記事は、以下のハローワークインターネットサービスから求人情報を自動で取得する試みを記録したものです: www.hellowork.mhlw.go.jp まずは、ソースコードと実行結果をお見せし、後ほどこの記事を書いた経緯などを話します。 ソースコード：HelloWork_Scraping_ST.py from selenium import webdriver from selenium.webdriver.support.ui import Select import time from bs4 import BeautifulSoup import re # ハローワークインターネット…

最近、医療機関で薬をもらう機会があったので、調剤薬局について調べていました。 東京都では、医療機関や薬局の情報を以下のサイトで発信しています。 www.himawari.metro.tokyo.jp 各都道府県ごとに似たようなページがありますが、調剤薬局の情報については東京都独自のものがあり、その1つが「医療用医薬品備蓄数」です。そこで、東京都内にある調剤薬局の医療用医薬品の備蓄数にどのような傾向があるか調べました。 個人的な予想としては、診療科が多い大規模病院の近くにある調剤薬局の方が備蓄品目も多いと思いました。 やり方としては、上記のサイトをクロールして、各薬局の情報項目のうち「実績、結果…

元素周期表の覚え方「水兵リーベ僕の船...」懐かしいですね。 その元素記号の34番目は「Se」（Selenium）です。 一方、ITにおけるSeleniumは Webページにアクセスしてログイン 対象データを検索 必要な情報を入力して登録 というような、普段Webブラウザで行っている操作を自動化することができます。 PythonでもこのSeleniumを利用することができます。 最新ニュース記事取得 最近気になるニュースは？ 就活の面接でも良く聞かれます。選んだニュースにより、その人の感性や価値観、人柄、知的好奇心が分かるので、効果的な質問だと思います。 さて、今回は最新ニュース記事の取得・収…

この記事は「サポーターズCoLab Advent Calendar 2019 - Adventar」8日目の記事となります。 adventar.org また、プレイリストの作成部分については、以下の書籍内容を改良したものになります。 supporterz.booth.pm 改良内容としては、 ・Slackから呼び出す形にした ・アーティスト翻訳をSpotifyのwebブラウザ版をスクレイプする形式に変更 ・レコメンドをLast.fmのAPIと、直近30日の自分及び自分に近いユーザーの履歴から推薦するハイブリッド型への変更 という感じです。履歴推薦の方法ですが、ノイズを少なくするため、 ・1人2…

11月からT-Potを個人で運用を始めており、日々の攻撃傾向などが表示されるダッシュボードのスクリーンショットを自動で送ってくれる仕組みを構築中です. そこでHeadless Chromeが必要なダッシュボードにアクセスし、スクリーンショットを撮る仕組みを構築中に、自己署名証明書サイトに対してスクリーションショットがうまく撮れなかった悲しい経緯を紹介します. TL;DR 自己署名証明書サイトに対しては接続自体が成功していない様子 accept_insecure_certs: trueをSelenium::WebDriver::Remote::Capabilities.chromeに渡すHash…

Raspberry Pi 4B上に組んでいたselemiumのテストをしていたところ、 何故か以下のようなエラーを吐いて動かなくなりました $ python3 sample.py start... Traceback (most recent call last): File "sample.py", line 25, in <module> driver = webdriver.Chrome(CHROME_DRIVER, options=options) File "/home/ubuntu/.local/lib/python3.8/site-packages/selenium/webdri…

こんにちは、のちたままです。 最近何かと話を聞くChromebookですが、自分も数ヶ月前から使っています。 Lenovoが出している「IdeaPad Duet」というchromebookを使っています。 ただ、このchromebookは使う人を選ぶことに最近気が付きました。 そこで今回は「IdeaPad Duet」の特徴やメリットデメリットを挙げるとともに、どんな人にオススメか、逆にどんな人にオススメしないかをお話しようと思います。 IdeaPad Duetが合う人/合わない人 IdeaPad Duetのスペック IdeaPad Duetの良い点/悪い点 良い点その①：デザインが良い 良い点…

はじめに 定義 URLを指定して開く URLを取得 待機（単位はミリ秒）*1 各種エレメントを取得 要素の数を数える 値を入力 ドロップダウン（プルダウン）メニューの選択 値を取得 ボタンをクリック 複数画面の処理 ポップアップ（アラート）の処理 *5 はじめに 「VBAでEdgeを使用する方法① 準備編」の続き 調べながらの作業のため間違いあり 参考：VBAのスクレイピングを簡単楽にしてくれるSelenium ここではよく使うものをメモとして残している。 定義 Dim driver As New Selenium.EdgeDriverDim keyword as String, myStri…

電子ルーペを使って、ざっと読んだ。しっかり読むと1日1ページくらいしか読めない。 vbsについて分かったことは、Seleniumがweb専用だったように、vbsは、excel、wordを操作する機能があり、IEの、可能だ。tくぁのアプリに対しても、何かしらできるようだが、カナqらずsw切ると言うほど、協力ではないようだ。RPAにはm使えるように思った。Win actorやUipathを使うぐらいなら、vbsを勉強するのが、学習コストも低く、全体コストも低く抑えられるだろう。RPAに取り組みたい人には、一番手軽なvbsで、十分と言う気がする。企業においても、MSのvbsとなれば、許可され易いだろ…

昨日・2/28、a-know (ver 0.38.11) がリリースされました。更新内容は以下のとおりです。

Seleniumに関し、ぼくが調べてることを、自信が持てなく、突然、grrさんに振ってしまって、困られたと思います。すいませんでした。自分の責任で改めて書きます。 Seleniumですが、どうやら、web専用の機能の様で、汎用のwindow操作のパッケージではないようです。webのオートメーション化には、使えそうです。grrさん、コメントをありがとうございました。そして、失礼しました。 メタトレーダーの遠隔操作や、MQLとの通信は、uwscでできそうです。実際にやったわけではないので、断言は、まだできません。0％ではないけど、こうすればできそうだと、具体的なコードで説明したいと思います。皆さん…

win acter 、uipath 、seleniumの本を読んだ。まず、pythonのライブラリである、seleniumだが、web専用のツールに思えた。自信はないが、汎用性は、無いように思う。次に、win acterだが、シナリオというものを作り、自動化は、シナリオに従う。シナリオに従い実行される。フローチャートなどで、ヴィジュアルが表示され編集したりする。操作のレコーｄジングが、中心機能だ。ウインドウが遠隔操作する場面は無く、そういった機能は認められなかった。Pythonでアプリを作り、モジュールごとに、手順を結び、ビジュアルで、手順を管理するだけのようにも思えた。uipathも、似たコ…

今すぐ登録したい方へ このブログから登録の多いエージェントは下記の３つです★ （リンクをクリックすると公式サイトに飛びます） ✅【ダントツの１位】フォスターフリーランス【案件保有数５０００件以上。業界２５年の超老舗】 ✅【僅差で２位】エミリーエンジニア【４人に１人が初めてのフリーランス】 ✅【惜しくも３位】Midworks(ミッドワークス) 【リモート案件が超豊富。正社員並みの保障アリ】 こんにちは、mah(@RailsRubyMah6h)です。 このブログでは、 僕がIT未経験から約1年でフリーランスエンジニアになるまでの過程、 ノウハウなどを書いていきます。 今回は、 【Vue.js】v-…

絵師パーと言うのは、RPA言語たちのことだ。TPAと言うのは、企業が業務課イェンのための手法のことだ。大がかりな、サーバー導入による、業務システムではなく、毎日繰り返す、定型業務を、RPA用のツールを使って自動化しようとするものだ。esperの特徴は、webや、Wxcel、あるいは、windowsそのものを、自動操縦する機能を持っているということだ。esperの一つ、WinActorなどは、NTT開発による、国内シェ1位のツールとのことだ。ということは。Pythonなどのように、どうぞ、自由に、無料で、使ってくださいと言うものではない。御金のにおいがプンプンするのだ。魔術師は、ダウンロードしよ…

グラフをhtmlで作ることが多いのですが、いざ紙ベース資料（？？）を作るときに手動でやるのは大変なので、seleniumで画面コピー（スクリーンショット）をやる話です。 以下の参考サイトそのままですが。 Python + Selenium で Chrome の自動操作を一通り - Qiita from selenium import webdriver import chromedriver_binary import time driver = webdriver.Chrome() h_add = driver.execute_script("return window.outerHeigh…

ここのところ、RPA周辺を調べ、いくつものツールを並行して調べている。NTT製のWin actorが、国内シェアNo1だそうだ。目にも書いたが、業務効率改善のコンサルティングと、紐づけしたいのが見え見えで、無調相談とかが多い。ということは、狙う、本丸は、有料なのだ。魔術師の様とは、当然、業務改善ではない。MT（メタトレーダ）の遠隔操作だ。Win actorの詳細は、分かっていないが、技研では使わない方向だ。また、Uipathは、RPAツールで人気ナンバーワンとのことだが、ことrsも商売のにおいがプンプンする。どうやら、Uipathは、商用ツールらしい。無償版があるとのことだ。これも、技研では使…