BeautifulSoup

Web スクレイピングとはWeb サイトの情報を取得して、その中から必要な情報を取り出す技術を指します。今回はニコニコ静画の漫画ぺージにある赤枠で囲んでいる公式マンガの情報をスクレイピングしていきます。 プログラムの出力結果がこちら。ここでは雑誌のタイトルと雑誌ページのURLを取得しています。ずらりと並んだ雑誌の数は１３２誌。多いです。 １.ホームページの情報を取得する 最初にHTMLにリクエストできるpythonライブラリのrequestsを使ってホームページの情報(HTML)を取得します。requestsをimportしてURLから情報を取得します。 import requests url…

リンク 本記事のゴール ・Webスクレイピングとは何かを知る・必要なライブラリと使い方を知る 概要：Webスクレイピングとは？ Webスクレイピングは、データを収集し、解析するためにWebページから情報を抽出する有用な手法です。このガイドでは、Pythonを使用したWebスクレイピングの実践的なアプローチに焦点を当て、主にBeautifulSoupとRequestsライブラリを使用しています。 必要なライブラリは？使い方は？ まず、PythonのRequestsライブラリを使用してWebページのHTMLデータを取得します。以下は、シンプルな例です。 pythonCopy code import…

ふと、普段働いているところのイベントをなんとなく知りたいと思いました。ホームページには一覧が公開されていました。 この自治体です。 www.city.nagoya.jp ただ、情報の共有という観点からするとちょっとどうよというような内容のフォーマット。 オープン化を進めるならRSSとかXMLとかCSVで共有してくれてもいいじゃないの？とか思ったりしなかったり。つまりHTMLファイルでしか公開がされていないという不満です。入力データの形式は揃っていそうなので、入力側にはCMSが入っているんだろうな～と推測していますが、なんとなくデータの設計も微妙というか詰めきれていないような感じなんですよね。 …

はじめに これが、ChatGPTとのペアプロ...！ nikkieです Webページの本文を取得するというめちゃめちゃステキ✨な関数の実装を見かけました。 「なにこれ、めっちゃ便利！私も使いたい！！」 その実装はJavaScriptです。 「Pythonでおんなじことできないかな〜」と考えた私は、ChatGPTの力を借りることにしました。 目次 はじめに 目次 経緯 結論（暫定解） ChatGPTとのペアプロ 初手「JavaScriptの実装、解説して」🙏 Pythonのライブラリreadability-lxmlを知った！ requests -> readability-lxml -> bea…

さて、本日は気象庁防災情報XMLの地震情報をCSV出力しようと思います。 気象庁防災情報XMLとは 気象庁は過去長年にわたり、それぞれの防災情報毎に情報の性質・利用形態などを考慮し、気象庁独自の電文形式（フォーマット）を作成してきました。この方式は、防災情報の種類が少なく、情報の伝達がFAXや低速の通信回線の時代はそれぞれの情報に適していましたが、高度にICT化された社会において、より詳細で高度化された防災情報をより効果的に活用していただくために、新たな防災情報の提供様式を検討すべきと考え、「気象庁防災情報XMLフォーマット」を策定することとし、平成23年5月12日より運用を開始しました。（出…

これはなに？ ECサイト上ですぐに売り切れてしまう商品が再販されたときにLINEに通知する仕組みをLambdaを使って簡単に作ってみたので、簡単なメモです。 ※注意 処理の内容にスクレイピングを含んでいます。ECサイトに影響がないようにrobots.txtや規約情報を確認して、実施する際は自己責任で実施してください。 スクレイピングする際の注意点。 スクレイピング、クローリングする時の注意点 — Pythonオンライン学習サービス PyQ（パイキュー）ドキュメント

はじめに 運用しているサイトでバックアップファイルが多く残っているサイトで、現時点でトップページから正しくリンクが張られているページを調査するため、手動でチェックするのは、しんどいのでプログラムで調査できないか、サンプルのプログラムを作成してみました。 利用したパッケージ beautifulsoup4 requests サンプルコード from html.parser import HTMLParser from bs4 import BeautifulSoup import requests baseurl = "<調査したいURL>"; urlList = [] ok_urlList = …