XML Path Language
Seleniumを含めたE2Eツールでは、XPathで指定できると動作が安定します。 今回の記事では、XPathで親要素を検索する方法を記載します。 概要 ../と記載すると、指定したDOMより親の要素を検索できます。 この記事では、次のXPathを導きます。 //td[contains(text(), 'Java')]/../td[2] ゴール XPathにて子孫を検索する XPathにてDOMの親要素を検索する XPathにて記載されている文言を検索する XPathにて複数ヒットしたときに目的のDOMを指定する 今回は、GitHubに記載しているプロフィールを利用します。言語と経験年数が記…
XPath Syntax XPathのまとめ、要素の参照方法いろいろ │ Web備忘録 ＠IT：XMLマスターへの道 第12回 XPathによるノードの指定法を理解する Pythonスクレイピング：JavaScriptによる動的ページ、静的ページ、キャプチャ取得のそれぞれの手法をサンプルコード付きで解説 – ハンズオンプラス とりあえず(・)> この記事は 9 月 3 日に作成投稿しましたが、記事の日時間隔を均等化するために、9 月 2 日投稿扱いに変更します。
はじめに 覚えてほしいこと やりたいこと - XPath XMLとは？ 事前準備 - GET RequestでサイトマップをXMLで取得 XPathの使い方 Workflow - XPath Confirm - XPath Configure - Xpath Step1 - XML Column - 対象のXMLコラムを指定 Step2 - XPath Summary - 抽出ルール指定 ちょっと一言 Multiple tag optionsの種類について おわりに KNIMEに関する本 参考リンク // はじめに こんにちは、まっきーです。今回は「XML構造を簡単に分解するNode」を解説し…
ども。LDI品質管理部の仙波です。 スマホアプリの自動テストを担当しています。最近は基本的にリモートワークですが、気分転換に商店街まで散歩してたい焼きを買って帰るのが楽しみです。 前回はXPathを使って画面要素を柔軟に取得する方法を紹介しました。 その際、XPathの使用は他の方法に比べてパフォーマンスに問題があるという通説があることに触れました。問題があるっていうけど、どれくらいインパクトがある話なの？と言われると自分でも明確に説明できないことに気づいたので、今回は簡単なパフォーマンス計測用のコードを作成し、どれくらい遅いのか計測してみました。 パフォーマンス計測（Androidの場合） …
ども。LDI品質管理部の仙波です。 スマホアプリの自動テストを担当しています。最近はDysonの空気清浄ファンヒーターがお気に入りですが、電気料金の請求書を見てちょっと焦ってます。 前回は Androidアプリの画面を操作・検証する基本的なコードを紹介しました。 今回は任意の要素を取得するために便利なテクニックを紹介します。 問題のコンテキスト ユニークな要素を取得し、そこからの相対関係で目的の要素を取得する テストコードの例 AppiumにおけるXPathの使用について まとめ 関連記事 問題のコンテキスト Appiumで要素を取得する場合、Androidならresource-idやcont…
あまり知られていない関数型言語のおもしろ概念として、Opticsというものがある。 Opticsとは、オブジェクト指向言語で言うところのSetter/Getterを一種の関数として捉え、いくつかの便利な特性を付与したものの総称だ。この便利な特性によって、Setter/Getter以上のことをパワフルにこなせる。 最も有名なOpticsはLensであり、色々な解説資料が(主にHaskell向けに)出ている。 blog.recruit.co.jp さて、これまでのOpticsを紹介する資料はSetterとGetterとしての側面に注目しがちだったので、じゃあOpticsの何が良いのか、Scalaで…
味の素パークとは？味の素パークでは、つくるだけにとどまらず『こんな楽しさあったんだ!』と感じられるような、様々な食の体験を“もっと”お届けします。いつも生活の中心にある”食”を通じて毎日を明るく、楽しくになります。味の素株式会社が運営する「AJINOMOTO PARK」のレシピは、料理研究家の先生や味の素株式会社の食のプロが作っているので、おいしさ保証付きます。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすい人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99％のWebスク…
www.cdata.com 上記サイトにサンプルコードがあった。 <arc:set attr="xmlItem.uri" value="[FilePath]" /> <arc:set attr="xmlItem.xpath" value="/Items/To_Do" /> <arc:call op="xmlDOMSearch" in="xmlItem"> <arc:set attr="_message.header:todo_owner_email" value="[xpath('担当者メールアドレス')]"/> <arc:set attr="_message.header:todo_titl…
引き続き、取り組んでいます。qiita.com とてもお世話になっています。ほかの方の記述とかで引用されていないのがなぜかわからない。 すごいものなのに。今日クリアしたことは２点。①実際の作業と並行して扱いたい。こんな風にしてみました。 Public Edgedrv As IWebDriver Sub 起動() Set Edgedrv = New EdgeDriver End Sub Sub ①() Edgedrv.OpenURL ("https://www.yahoo.co.jp") End Sub Sub ②() Edgedrv.OpenURL ("https://www.google.c…
6/6追記 2023.5.2安定版リリースで、2023.5のアーリーアダプターの内容が取り込まれたため、本記事も安定版に書き換えております。 はじめに この記事は、Burp Suiteのリリース内容について抄訳した内容と筆者の気になるポイントを記載しています。 Burpを使用して診断を行う方を対象にしていますので、バグ修正のような細かい変更点については本記事で触れない場合がございます。 原文をご確認されたい方は、公式のリリースノートをご覧ください。 portswigger.net Burp Organizer Burp Organizer が導入されました。後で見返したいHTTP メッセージの…
Selenium4系の最新では、要素の取得に用いるfindElement(s)By～関数が削除されている。元々deprecatedであったのが、完全に削除された格好。 driver.findElementById("elementId") driver.findElementByName("elementName") driver.findElementByXPath("xPath") driver.findElementByLinkText("linkText") driver.findElementByPartialLinkText("partialText") driver.findEl…
Duo 3.0という英語の例文集から１時間に１つずつ選んでツイートするBotを作った。 もともとMetabirdという外部サービスを利用していたが、イーロンマスク氏のBotジェノサイドの対象に合ってどうやらMetabirdサービスごと吹き飛ばされたらしい。 TwitterのBotを作成する手順としては ①APIを利用する ②Seleniumで自動化する の大きく２つあるらしいが、このうちAPIのほうは有料化とか認証切れとか色々ゴタゴタしていて面倒だった。なのでSeleniumでブラウザ操作を自動化して突破することにした。 もちろんTwitter社もその対策は打っていて、ログイン画面のUIが頻繁…
Webスクレイピングは、インターネット上の情報を自動的に収集するプログラムを作成することを指します。しかし、一部のWebページは、JavaScriptを使用して動的なコンテンツを生成するため、通常のWebスクレイピングツールだけでは対応できません。このような場合には、Seleniumを使用してスクレイピングを行うことができます。Seleniumは、Webブラウザを制御するためのツールであり、自動化テストのために開発されました。しかし、Webスクレイピングにも使用することができます。以下では、PythonでSeleniumを使用してJavaScriptを含むWebページをスクレイピングする方法を…
何番煎じかわからないくらいのネタだが、Arxivの論文を3行に要約して、感想を付けてSlack通知する処理を実装した。先行事例に付加した要素としては、感想を付けたことくらいである。 ChatGPTに驚いてもらい、AIによる「驚き屋」を再現した。 先行事例 【ChatGPT】新着論文を3行でまとめて Slack に通知する - Qiita ChatGPT を使ってちょうど読んでいた論文を3行まとめにしてもらった | DevelopersIO Arxivの論文抽出 先行事例にあるように、arxiv.orgのAPIなどを使用して新着論文を確認する。 ここについては省略する。 プロンプト 作成した要約…
phpenvを使ってPHP 8.2系をインストールしました。 依存パッケージのインストールが必要だったので備忘録としてまとめます。
私のブログのアクセス集計を行った所、以下の記事が大変読まれているようでした。 saica94.hatenablog.comこの記事を書いた時は下準備が大変でしたが、Powershell向けに公開されているモジュールが存在しており、そちらを使ったほうがかなり楽に操作できるので 今回はその解説となります。 ※この解説で使用するブラウザはGoogle Chromeです。 モジュールのインストール 指定したブラウザを起動する 指定URLへアクセスする エレメントの取得 エレメント取得処理がタイムアウトになる時間を設定する 取得したエレメントに対する操作 キー入力 エレメント or ボタンをクリックする…
（最終更新日：2023/06/06）私は主婦をしながら2018年からずっと在宅ワークをしてて、子育てでバタバタしながらでも月4～5万ぐらいならムリなく稼げるようになりました。最近では、週に1，2回は発注者から直接依頼があります。あと仕事を受けるだけじゃなくて、クライアント側として仕事を発注することも多いです。なので、「こういう人に仕事をお願いしたい」 「こういう人には仕事をお願いしたくない」っていう、クライアント側の気持ちもよく分かるようになりました。 ちなみにこれは、クライアントとしての実績画面です。私はいつもクラウドワークスってサイトを使ってて、これもその画面です。 だから私は、 仕事をす…
はじめまして、こんにちは、こんばんは。JADEでSEOコンサルタントをやっております、小坂と申します。 JADEのブログを読んでくださっている皆様の多くは日々データ分析や調査をされているのではないかと思います。Looker Studioのような便利なBIツールを利用したり、BigQueryを駆使することが増えている昨今。それでもなんだかんだExcelやGoogle スプレッドシートを使うことも多いのではないでしょうか。 SQLなんて書けないよ！とかBigQueryはなんか怖い……という理由からスプレッドシートとズッ友だょ！という方もいるのではないでしょうか。 早速ですがそんなみなさんにご質問で…
Seleniumは、Webアプリケーションの自動化に広く使用されている人気の高いフレームワークです。Seleniumは、Pythonなどのプログラミング言語を使用してWebブラウザを制御し、Webアプリケーションをテストしたり、自動化したりすることができます。この記事では、PythonとSeleniumを使って、サイト内のスクリーンショットを取得する方法について説明します。 Seleniumのインストール Seleniumを使用するには、まずPythonのSeleniumライブラリをインストールする必要があります。Pythonのバージョンによっては、pipを使用してSeleniumをインストー…
Pythonでseleniumを利用してウインドウアクセスする場合の簡単な例の第2弾として、Google検索画面にアクセスし、キーワードを入力、表示された結果のタイトルとURLをExcelに書き込みするまでを載せておきたいと思います。 前回同様内容としては、各ブラウザのドライバを設定して、Google検索画面にアクセスし検索窓にキーワードとして「Python Selenum」と入力することで検索結果を表示させ、結果として表示された１ページ目のそれぞれの項目のタイトルとURLを取り込んでExcel画面に表示させるまでになります。 Excelファイルの操作がありますのでopenpyxlのインストー…
amachang.hatenablog.com
www.asteria.com
blog.takuros.net
piro.sakura.ne.jp
labs.gmo.jp
amachang.hatenablog.com
amachang.hatenablog.com
developer.mozilla.org
amachang.hatenablog.com
