Requests

ふと、普段働いているところのイベントをなんとなく知りたいと思いました。ホームページには一覧が公開されていました。 この自治体です。 www.city.nagoya.jp ただ、情報の共有という観点からするとちょっとどうよというような内容のフォーマット。 オープン化を進めるならRSSとかXMLとかCSVで共有してくれてもいいじゃないの？とか思ったりしなかったり。つまりHTMLファイルでしか公開がされていないという不満です。入力データの形式は揃っていそうなので、入力側にはCMSが入っているんだろうな～と推測していますが、なんとなくデータの設計も微妙というか詰めきれていないような感じなんですよね。 …

Request. リクエスト

はじめに これが、ChatGPTとのペアプロ...！ nikkieです Webページの本文を取得するというめちゃめちゃステキ✨な関数の実装を見かけました。 「なにこれ、めっちゃ便利！私も使いたい！！」 その実装はJavaScriptです。 「Pythonでおんなじことできないかな〜」と考えた私は、ChatGPTの力を借りることにしました。 目次 はじめに 目次 経緯 結論（暫定解） ChatGPTとのペアプロ 初手「JavaScriptの実装、解説して」🙏 Pythonのライブラリreadability-lxmlを知った！ requests -> readability-lxml -> bea…

PythonでAPI呼び出しを行う方法はいくつかあります。以下に4つの方法と、それぞれの方法のコード実例を紹介します。 requestsモジュールを使う方法 urllibモジュールを使う方法 PyCurlモジュールを使う方法 aiohttpモジュールを使う方法 まとめ (adsbygoogle = window.adsbygoogle || []).push({}); requestsモジュールを使う方法 requestsモジュールは、PythonでHTTPリクエストを送信するためのライブラリです。requestsモジュールを使ってAPI呼び出しを行うには、以下のようにコードを記述します。 i…

python で XML ファイルを扱う際のライブラリはいくつか存在します。本記事では備忘録の意もかねて、そのなかのいくつかのライブラリを用いて XML ファイルの取得、パース処理のサンプルコードをまとめることにしました。 TEI (Text Encoding Initiative) フォーマットでの XML 処理のハマりどころはXML/TEIを python の lxml で処理する際のハマりどころと解決策 - YuRAN-HIKOに起こしています。合わせて参照ください。 XML ファイルの取得 requests ライブラリを使用し URL から取得 urllib ライブラリを使用し URL…

喫煙できる店を検索します。リクルートWebサービスが提供するHotpepperグルメサーチAPIを使って「北千住駅から300m以内で喫煙可能な店」を検索します。 Powered by ホットペッパー Webサービス HTTP通信ライブラリrequestsによりホットペッパー Webサービスにアクセスし、検索クエリとして北千住駅の緯度・経度、距離(300m以内)、件数(50)を送信します。得られたレスポンスからnon_smokingフィールドの値を得て'全面禁煙'となっている店を除外して表示します。 環境 windows10 home Visual Studio Code 1.66.2 Pyth…

シングルトンの実装をしたrequests.Sessionクラスを使うことで、毎回同じ識別子のクラスを使い回すことが出来ます。 そうすることで、リクエストを飛ばすたびに毎回ホストとセッションをつなぐ必要がなくなるので、めちゃ便利です。 import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry class RequestSession(): _has_instance = None def __new__(cls): if not cls._has_instance:…

こんにちは。😺 カスタマーサクセス部の山本です。 12月25 日の記事です。メリークリスマス！😀 Qiita のアドベントカレンダー、25 日目のお題です。 背景 関連ブログ ドキュメント 前提 Apache のインストール mod_statusを有効化 collectd をインストール collectd の apache プラグインをインストール collectd の設定・起動 1 行目:LoadPlugin logfile 9 行目:LoadPlugin apache 16 行目:LoadPlugin network collectd の起動 CloudWatch Agent 側の設定変更…

LogFileMetricExporter カスタムリソースを見てみる はじめに LogFileMetricExporter 収集できるメトリクス ダッシュボードで確認 Top producing containers Top producing containers in last 24 hours DaemonSet の定義をみる ソースをみる まとめ LogFileMetricExporter カスタムリソースを見てみる はじめに 今年も残り僅かとなりました。OpenShift Advent Calendar 2024 24日目の記事です。年の瀬のお忙しい中お立ち寄りありがとうございます…

どうもセキュリティエンジニアの西川です。これがきっと私にとっての今年最後のブログです。今年の AWS re:Invent は自身の登壇があったのでほとんど楽しめませんでした。悔しいのでこうしてブログを帰ってきてからいくつか書いています。カミナシのメンバーの中で私と CTO だけは自腹で AWS re:Invent へ参加していますが、来年の飛行機もすでにとっていたりします。来年ラスベガスでお会いしましょう。 AWS re:Invent の中でもたくさんの Generative AI のセッションがありました。私自身はほとんど参加していなかったのですが、Generative AI の GameD…

この記事は、「#doda Developer Group Advent Calendar 2024」の 25 日目の記事です。 パーソルキャリア株式会社の doda システムアーキテクト部でリードエンジニアを務めている井上1です。 バッチ基盤領域の刷新プロジェクトにおいて、リソースのレビュアとワークフローの整備をしています。 バッチ基盤領域を含む doda サイトでは、GitHub のホスティングとして「GitHub Enterprise Server」2を運用しています。 当プロジェクトでは、GitHub から提供している「GitHub Actions」3を採用しています。 「GitHub …

スクレイピング(3.SageMakerでWebの画像取得) 実践！ １．Web画像取得 １－１．SageMakerノートブックのインスタンスを起動し、「JuptyerLab」を起動 １－２．下記を実行し、画像が取得されることを確認 import requests image_url = "https://s.yimg.jp/images/weather/general/next/100_day.png" imgdata = requests.get(image_url) filename = image_url.split("/")[-1] with open(filename, mode="…

こんにちは、Red HatでOpenShift関連のプリセールスをしている北村です。 前回の記事でDeveloper Hubのインストールが完了したので、今回はGitHubと連携してDeveloper Hubの認証を実装します。 前回の状態 前回ログイン画面まで表示されることを確認しましたが、この状態でGitHubの"Sign In"を選択すると、以下のようなエラーが表示されます。 これはまだGitHubとの連携情報がDeveloper Hubに設定されていないために発生しています。 ではGitHub認証を実装していきましょう。 Developer Hub GitHub 認証 実装手順 Git…

REQUESTS -Tsuyoshi Yamamoto Trio LIVE- 山本剛トリオ タワーレコード Amazon 1970年代の伝説の和ジャズレーベル「スリー・ブラインド・マイス」で『ミッドナイト・シュガー』『ミスティ』など数々の世界的名盤を生み出してきたジャズピアニスト山本剛とエンジニア神成芳彦。ベース香川裕史、ドラム大隅寿男との鉄壁のトリオで、2022年『BLUES FORK』(SCOL1062)を録音し再会。その後も、『SWEET FORK』(SCOL1071)を発表すると、両作は日本だけでなくアジアやヨーロッパでもリリースされるなど、海外でも大きな話題と高い評価を得た。最新作は…

はじめまして。Platform Development DivisionのWataru.Nと申します！ 先日、Next.jsについてブログを書いていた Alek さんと同じチームで開発を行っています。 最近、調査の一環として簡易な負荷テストを行う機会があり、Goで作られた Vegeta というオープンソースのツールを使いました。 （名前についてはリポジトリを開くとわかりますが、あのベジータです） Vegetaは基本的にはCLIベースでシンプルに使えるものですが、Goのライブラリとしてシナリオを書くこともできます。私が担当しているサービス（Security Suite、CRM Connect）で…

各コンポーネントの説明 +------------+ calls +------------+ calls +------------+ | Controller| ------------> | Service | ----------> | Repository | +------------+ +------------+ +------------+ | | | | Business Logic | | | | | | v v +------------> Handles Requests <------------------> Accesses Data 1. Controller…

スクレイピング(2.Beautiful SoupでHTML分析) 前提 下記を実施しWeb情報を取得できていること amegaeru.hatenablog.jp 実践！ １．Beautiful Soupインストール確認 １－１．SageMakerノートブックで下記を実行し、beautifulsoup4がインストールされていることを確認 pip list ２．HTML分析 ２－１．下記を実行し、HTMLがタグで分割されていることを確認 import requests from bs4 import BeautifulSoup load_url = "https://xxx.co.jp" html…

こんにちは、ENECHANGEの石橋です。 AWSのコストを管理することは、企業にとって非常に重要です。 本ブログでは、AWS Budgets, SNS, Chatbot, Event Bridge, Lambda, Slackを統合したコスト監視システムの開発について解説します。 TerraformやLambdaの実装例も提供しますので、ご参考になれば幸いです。

背景：MaqueenをESP32で制御したい。余ってるESP32を活用する(買ってもいいけど、どんどんマイコンが増えるので・・) 取り組み：引き出しに使っていないM5Stamp C3U MateがあったのでこれにMicroPythonを入れる。ESP32 C3用のMicroPython Firmwareがリリースされているのでこれを使う 結論：ESP32-C3用Firmが入れられた(v1.24.1 (2024-11-29)) 詳細： 今回インストールしたM5Stamp C3U Mate ResetボタンとBootボタンを同時に押すとBootモードが切り替えられる(細かく言うと同時でなくてもいい…