Python スクレイピング

どうもこんにちは、たつぷりです。最近少し忙しかったので久しぶりの更新です。最近、大学院で開かれていた機械学習の素粒子物理への応用に関してのスクールに参加しました。その関連で機械学習に興味を持ったのでしばらくその関連で何かできないかなあと思っている今日この頃です。 今日は自分で何か学習をさせる時にトレーニングデータを収集する一つの方法をまとめることにしました。 目的 目標 実装 モジュールと各種設定 Beautiful Soupを用いたスクレイピング 画像のURL一覧を取得 出力 データの保存 プログラムの実行 結果 課題 参考にしたもの スクリプト全文 目的 PytorchでDCGANのtut…

今回は会社で毎日行っているルーティンワークを、自動化するためのツールづくりを（全３回）に分けて、お届けします！第１回は、Pythonの外部モジュールのBeautifulsoupとRequestsを使用して、Webサイトから情報を取得する（Webスクレイピング）部分の作成です。思ったように動かなかったりエラーの解消に時間がかかったりと、かなり苦労しました。。 作るもの 機能要件 Webスクレイピングでよく聞く「Beautifulsoup」と「Requests」とは Beautifulsoupの使い方 Requestsの使い方 ソースコード 作るもの ・Webサイトから、前日に投稿されたニュース記…

最近、Excelにハマっている。就職先の内定者研修で扱ったのがきっかけだ。仕事でもバリバリExcelは使うだろうし、単純に勉強していて楽しいので、せっかくなら基礎から応用まで体系的に勉強しようと思う。そんなことを考えていたら、Excelだけでなく、WordやPythonスクレイピングまで勉強したくなってしまった。 頭の中を整理するためにも、これからのロードマップを書いてみる。 習得したいスキル Excelを基礎から応用まで修め、とりあえず上級者になる。 Wordの中級者くらいになる。PowerPointも同様。 デザインも勉強したい。伝わるデザイン、ユニバーサルデザインあたり。 Pythonを…

XPath Syntax XPathのまとめ、要素の参照方法いろいろ │ Web備忘録 ＠IT：XMLマスターへの道 第12回 XPathによるノードの指定法を理解する Pythonスクレイピング：JavaScriptで動的に出力されているページと静的ページ、それぞれに最適な異なる二つの手法 – ハンズオンプラス とりあえず(・)> この記事は 9 月 3 日に作成投稿しましたが、記事の日時間隔を均等化するために、9 月 2 日投稿扱いに変更します。

※技術ライティング講座の備忘録です。 前回の続きです。 素材集めに適したアプリ、サービスなど。 ◆目次◆ Googleドキュメント Evernote Twitter Googleフォト GoogleドキュメントとGoogleフォトの注意点 Googleドキュメント ・Googleドキュメントを使うメリット クラウド上で保存できる 複数人で編集できる 画像保存できる ・Googleドキュメントの便利な使い方 HTMLファイルにしてダウンロードできる！ →画像はランダムにZIPファイルに保存されてしまう。 HTMLファイルをブラウザで開いてデベロッパーツールでコード見れば 該当の画像名が調べられる…

今回は、前回取得した市区町村の表の情報をもとに さらに必要な情報を抜き出していきたいと思います。 ◆目次◆ 今回の スクレイピングのお題 表のHTML構造 tdタグのテキスト部分の抽出方法 今回の スクレイピングのお題 前回取得した「市区町村の表」のtableタグの中にある、 各市町村名の情報（テキスト部分のみ）を取得します。 表のHTML構造 表のHTML構造は以下の通りです。 ・table: テーブル全体 -thead: 表のヘッダー -tbody: 表の本体 -tfoot: 表のフッター ‣tr: 行 ‣th: 見出しセル ‣td: セル 具体的な構造は以下の図を参照してください。 各市…

今回は、今まで解説してきた Requestsモジュールとbeautifulsoup4モジュールを使って 実際にスクレイピングをしていきます。 ◆目次◆ スクレイピングのお題 手順1 手順2 手順3 実際のコード スクレイピングのお題 「Yahoo! Japan 天気・災害」のトップページの検索窓で「東京」した結果の画面 「https://weather.yahoo.co.jp/weather/search/?p=東京」 「市区町村の表」のtableタグの情報を取得します。 手順1 「https://weather.yahoo.co.jp/weather/search/?p=東京」の 市区町村の…

前々回の続きで、beautifulsoup4モジュールについて説明します。 今回は、beautifulsoup4モジュールの使い方と beautifulsoup4モジュールの中にあるBeautifulSoupのメソッドについて説明します。 ◆目次◆ beautifulsoup4モジュールの使い方（soupを作る） find_()メソッドとfind_all()メソッドとは select_one()メソッドまたはselect()メソッド beautifulsoup4モジュールの使い方（soupを作る） 先に構文を見ていきます。 import requests from bs4 import Bea…

beautifulsoup4モジュールとは Requestsモジュールで取得したサイト情報から HTML解析（受け取ったレスポンスから必要な部分を抜き出す）を 行うときに使用するモジュールです。 beautifulsoup4モジュールは外部ライブラリで、Anacondaに同梱されています。 ※Anacondaを使用せずにPythonを使う場合は、 以下のページの「外部ライブラリのモジュールのインストール方法」を 参考にして、モジュールをインストールしてください。 Python スクレイピングをするための準備 Requestsモジュール1 - Kの備忘録（仮） beautifulsoup4モジュ…

前回に引き続き、Requestsモジュールについて説明します。 今回は、サイトURLに追加される URL クエリパラメータ（クエリ文字列）について説明します。 URL クエリパラメータ（クエリ文字列）とは URL クエリパラメータ（クエリ文字列）は複数追加できる URL クエリパラメータ（クエリ文字列）とは 追加情報をWebサーバーに伝達するためにURLに加える情報のことです。 わかりやすいのは、サイトの検索窓に文字を入力して検索すると その検索結果が表示されますが、その時のURLにはURL クエリパラメータが追加されています。 例えば、「Yahoo! Japan 天気・災害」のトップページの…

Requestsモジュールとは PythonからHTTP通信を行う（WebサーバーにURLをリクエストして、レスポンスを受け取る） ときに使用するモジュールです。 Requestsモジュールは外部ライブラリで、Anacondaに同梱されています。 ※Anacondaを使用せずにPythonを使う場合は、 ページ下部の「外部ライブラリのモジュールのインストール方法」を 参考にして、モジュールをインストールしてください。 Requestsモジュールでできること Requests関数を使ってHTTP通信を行うことで、 サイトの情報を取得することができます。 requests.get(サイトのURL)…

競馬AI https://snuow.com/2020/11/%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%A0/%E3%80%90python%E3%80%91%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%A7%E7%AB%B6%E9%A6%AC%E3%81%AE%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E9%9B%86%E3%82%81%E3%82%8B%E3%80%90/ 【Python】スクレイピングで競馬のデータを集める…