クローリング

皆様こんにちは。はてなブログ開発チームの発表によりますと、生成AIによるクロール（情報根こそぎお持ち帰り機能）を拒否できる設定が実装されました。 staff.hatenablog.com テキスト情報窃取以前の問題として、クローラー＝DDoS攻撃そのものと言える過剰なアクセスがサービス運営に支障をきたすことが明らかになっており、これを阻止するために私たちの知らないところでクロールをブロックしていたはてなブログ（泣ける）。 この間に、ブログ管理者が自分の意思で拒否できるオプトアウト実装に向けて準備していたと。しかも私みたいな無料ユーザーにも設定させてくれるんですよ。 相互さんがよくおっしゃってま…

ある日、ニュースで「OpenAIのクローリング（自動でウェブサイトを巡回し、情報を収集すること）が中国勢を抜いて世界最大になった」と報じられていた。無断でネット上の情報を吸い上げて学習するその行為は、確かにサイト運営者との摩擦を生んでいるらしい。知的財産権の問題、メディアの権利、倫理的な境界──。そういう話だと思って読んでいた。 けれど、ふとした好奇心から「与沢翼ってどんな人？」とAIに聞いてみたとき、私は別の感覚に襲われた。その回答は、驚くほど最近の出来事を含んでいた。「2025年4月に覚醒剤使用を公表」「5月に離婚」「7月6日に退院」「7月11日、タイの自宅に戻る」──そう、まさに今週のこ…

現代のデジタル社会において、データは企業や研究者にとって最も貴重な資産の一つとなっています。特に、クローリング技術を活用したデータ収集は、大量の有益な情報を取得するための重要な手段となっています。本記事では、データ収集（クローリング）とは何か、そしてそれが現代社会においてどのように活用されているのかを簡単に紹介します。 1. データ収集（クローリング）とは？ データ収集（クローリング、Web Scraping または Web Crawling）は、プログラムを使用して自動的にウェブページにアクセスし、特定の情報を抽出する技術です。クローラーは、ユーザーがウェブサイトを閲覧するのと同じようにペー…

ここしばらく、Selenium・puppeteer・Playwrightの使い方をまとめていました。 まとめが長くなってきたので、ある程度の説明や手順が必要な操作は別記事にまとめようと思います。 ここでは、Selenium・puppeteer・Playwrightそれぞれで、ファイルドロップする方法をまとめました。 はじめに ファイルドロップとは、ローカルファイルをWebページの指定場所にドロップすると、そのファイルがWebにアップロードされるようなページを想定しています。 Google画像検索のファイルアップロードのようなものです。 そういったファイルドロップする関数が、Selenium・p…

以前、SeleniumとPlaywrightの比較のため両方を検証していました。せっかく使い方を覚えたので、また必要になった時にすぐに思い出せるよう下記記事に簡単に使い方をまとめました。 元々クローラーとしてpuppeteerを使っていたので、Selenium・Playwrightをまとめたのなら、puppeteerは外せないでしょということで、ここにpuppeteerの使い方を簡単にまとめてみることにしました。 ただ、SeleniumとPlaywrightを検証した結果、今はPlaywrightをメインで使っています。なので、通常使いの向けの網羅的なまとめではなく、puppeteerのお作法…

最近Playwrightを試していたので、使い方を忘れてもまた思い出せるよう、Playwrightの使い方をメモしておこうと思います。 インストール npm install --save playwright Playwrightをインストールすると、同時にブラウザChromium・Firefox・Webkitもインストールされる デフォルトではPlaywrightから呼び出されるブラウザは、その時にインストールされたブラウザが使われる ブラウザをインストールせずPlaywrightのみをインストールし、ブラウザは別途インストールしたものを使用することも可能 しかし、Playwrightのバー…

最近Seleniumを試していたので、使い方を忘れてもまた思い出せるよう、Seleniumの使い方をメモしておこうと思います。 インストール Selenium pip install selenium ブラウザとそのブラウザを駆動するWebDriverは別途インストールする必要がある。 WebDriver WebDriverはブラウザのバージョンに合ったものをインストールする必要がある。 手動で行うと手間なのでwebdriver_managerを使って自動インストールする。 pip install webdriver-manager webdriver_managerの使い方 from sel…