英語で"scrape"とは「削ること」。 特に、ウェブサイトのデータを必要な部分だけ抽出して利用すること。
こんにちは！ 少し間が空いてしまいましたが、本日は改行コードを文字列から削除する方法を書きたいと思います。 テキストファイルをPythonで利用するときには改行コードや空白が邪魔になります。 スクレイピングした際にはそういった情報がどうしても入ってくるので、 それを削除してみようというのが今回の目標です。 いくつか手段があるようです。 文字列から全て改行コードを削除する方法 文字列の先頭と末尾から改行コードを削除する方法 文字列から末尾の改行コードを削除する方法 今回はすべての改行コードが邪魔になったため、削除してしまいます。 使うのはreplace()というメソッドです。 使い方は簡単。 x…
スクレイピングとは？ スクレイピングツールの準備方法 スクレイピングのコツ 動的スクレイピングと静的スクレイピング お知らせ 本記事へようこそ今この記事をご覧になっている方は、現在プラグラミングを学習されている方、または情報収集を自動化するための方法を模索されておりスクレイピングに関心がある方ですよね！ でも実際にスクレイピング とはなんなのか、試してみたけどうまくいかなかったといった方も多いのではないでしょうか。 そんな方々のために、今回はWebスクレイピングで自動化する上でのコツや注意点を簡単にお話ししますので、よければ最後までお付き合いください！ スクレイピングとは？ スクレイピング（S…
OSINTとは OSINTの手法 OSINTの実現方法 ツール利用例 ツール開発例 OSINTの注意点 まとめ 参考 OSINTとは みなさん"OSINT"とは何かご存知でしょうか？これはOpen Source Intelligenceの略で、オープンソース、つまり世間一般に公開されている、誰でも知ることのできる情報を利用した、情報収集・分析の手法のことです。 いわゆるスパイ活動などのようなことでも、重宝されてきており、違法行為やグレーゾーンとなることを行わないため、個人でも簡単に始められるものとなります。 近年は、デジタル技術の進化もありオープンソースな情報を取得するのが非常に容易となってき…
副業、割に合わなそうだけどなんとなく気になって暇なときたまにクラウドソーシングのサイトを眺めたりする。地雷臭のする案件が多く感じる。まあまともな発注じゃないからそんな場所で探してるのだろうという気もする。そんなのにも何人とか何十人とか応募してて驚く。 たいていはものすごく曖昧でスコープが広い、広狩り続けそうな募集だが、たまに具体的で多少まともな要件のものもある。そういうのに限ってスクレイピングとか、内容としてはグレーな感じだったりして、たぶん発注側もテンプレ化したノウハウが流通してるのだろう。 まれに業務改善支援のためのシステム構築、みたいなのもあって、どういう業態かはなんだかよくわからないが…
みなさん、おはようございます。今日の朝も過ごしやすいですね。ただ日中は気温が高くなるそうなので無理はしないでくださいね。本日は「何もしない時間と自己肯定感」をテーマにブログを記載させていただきます。本日も最後までブログをご一読いただければ幸いです。 1. ぼーっとして何もしない時間の大切さ 忙しい毎日の中で、ぼーっとして何もしない時間を過ごすのは、罪悪感を覚える人もいるかもしれません。しかし、ぼーっとして何もしない時間は、実は自己肯定感を高めるために大切な時間なのです。ぼーっとして何もしない時間は、自分の心と向き合う時間です。日々の忙しさの中で、ついつい自分の内面をないがしろにしがちです。ぼー…
毎日投稿チャレンジ10日目。 本日も応用情報技術者試験の話。 と言いつつ3回目の「用語」回なので、 ネタ切れ感と 試験の話から明後日の方向に飛んでいる、隔世の感(誤用)がある。 インターネットに公開されているWEBページ(アプリ)から情報を拾ってくる方法がいくつかある。 代表的なのは以下3つだ。 ・RSS ・API ・スクレイピング それぞれ見ていこうと思う。 ・RSS これはWEBページの新着があったときにお知らせしてくれる、お知らせメールのようなもの。 ただしお知らせメールとは違い、WEBページ側に自分のメールアドレスを渡す必要がなく安心。 自前のRSSリーダに、RSSとして公開されている…
前回も書いたように、実際にデータ分析するためには、データを読み込み、読み込んだデータの前処理をして、そして分析に使えるように加工してそれを書き出してファイル化して初めて準備ができたことになる。 mnoguti.hatenablog.com 前回の記事で紹介した参考文献は、RStudioの利用を前提として「Rを用いて一連のデータ分析ワークフローを遂行するためのガイドブック」であり、想定読者は、「Rでデータ分析をする、あるいはしたいと思っているすべての方」と位置付けられていた。扱う対象はあくまでも分析ワークフローであって、分析そのものではない。今回、紹介する参考文献も、書名に「分析入門」とあるが、…
打劇DP大会に出場し優勝した。 裏話を記す。 事前準備 予選終了後，本戦出場面子を見て，これは早急に皿とソフランを対策せねばならんとなったので，重い腰を上げて罪過や音楽，皿曲に取り組んだ。結果，当日は自分の武器より寧ろ皿とソフランの方が頭に譜面が入っていた。その過程で出たFAXX2202，音楽2556，ワンブル2094，Red2 3004等は我乍ら結構頑張ったと思う。 今回のルールはポイント制だが，ポイントが同点の時スコア率で決まるので，ereter.netのCompareからスコア率差異をスクレイピングして当日の対戦直前までずっと睨めっこしていた*1。 こんな感じ。自己ベベースでは最良の選曲…
9年前にやってみた高速道路の料金政策の変更とそれによる交通量の変化に関するデータ分析。当時、高速道路料金の無料化が民主党マニュフェスト（最近全く聞かなくなったw）で取り上げられ、完全無料化を目指し、その効果と実効可能性を検証するために一部実施された社会実験（この言葉も聞かなくなった）*1の効果を分析した。実験期間は、平成22（2010）年6月28日（月）から平成23（2011）年6月20日（月） 午前0:00であった。 www.mlit.go.jp 高速道路無料化の政府等の状況を伝える日経新聞の記事。 www.nikkei.com この高速料金の社会実験について、2014年にデータ分析したのが…
皆さま、いつも当ブログをご利用いただき、ありがとうございます。残念なお知らせですが、「ソフトウェア・ダウンロード」ページに掲載しております「jCluster」関連のソフトウェアは、今月末をもって使用できなくなります。これは、「Ｊ-クラスタ」のウェブページが移転し、その仕様が大きく変更されるためです。 Ｊ-クラスタ：国内専用アマチュア無線Ｗｅｂクラスタ （新 J-クラスタ） これまでの「Ｊ-クラスタ」の情報は、ブラウザに静的な動作で表示しておりましたので、HTML ファイルを解析するだけでプログラムの実装が可能でした。しかし、10月からスタートする新サービスでは、JavaScript で動的に動…
概要: この記事では、Pythonを使用してWebページからデータをスクレイピングする方法を紹介します。具体的には、特定のキーワードを含むお知らせを抽出し、リンクを取得するプログラムを作成します。このプログラムは、情報収集や自動化タスクに役立ちます。 概要: 1. はじめに: 2. 必要なライブラリのインストール: 1. Pythonとpipのインストール 2. requestsライブラリのインストール 3. beautifulsoup4ライブラリのインストール 4. pandasライブラリのインストール 3. プログラムの基本構造: 1. ライブラリのインポート 2. ウェブページの取得 3…
前提 Turnipとは何か？ Ruby/RSpec(非rails)でのTurnipの設定 Turnipのインストール Turnipの設定初期化 .rspecファイルへの追記 featureファイルとstepファイルを作成する 前提 MacBook Air Ruby/RSpec/Capybara 非rails Ruby&RSpecはインストール済み Turnipとは何か？ あまり情報がないので僕自身もよくわかっていないのですが、Trunipというのは、Gehrkin記法という独特の記法で記載されるプログラムのことをさしています。僕の環境では、Capybaraと一緒に使うことを前提としています。 …
はじめに 初めまして、fuku株式会社 代表取締役の山田です。本連載は学会の講演情報を自動で収集し、データベース化する過程の試行錯誤を公開するものです。 身近なニーズがある、個人的に関心があるなどの理由で学会の講演情報を対象としていますが、本企画の真の目的は多様かつ非構造的なテキスト情報を統一的なフォーマットに整形することができるか可能性を探ることにあります。本記事に辿り着いた方の中には論文、実験ノート、社内文書などの多様なテキストを取り扱いたいと考えている方がいらっしゃるかと思います。本企画の内容が、皆様の参考になれば幸いです。 背景・課題 発端は製薬企業の方とお話をしていた時に「学会の講演…
ChatGPT API×Excel VBA 自動化仕事術（できるビジネス） 話題のChatGPTをExcelに組み込む方法が分かる「ChatGPT API×Excel VBA 自動化仕事術（できるビジネス）」 ChatGPT APIを使えば大量の処理が一括で行える「ChatGPT API×Excel VBA 自動化仕事術（できるビジネス）」 「ChatGPT API×Excel VBA 自動化仕事術（できるビジネス）」対象読者 「ChatGPT API×Excel VBA 自動化仕事術（できるビジネス）」紙面イメージ 「ChatGPT API×Excel VBA 自動化仕事術（できるビジネス）…
データ*1で世の中の構造や動きを明らかにしたい。2010年代初頭、IoTの進展に伴うデジタルデータの利用可能性の高まりによる民間企業の取り組み、その後のデジタルトランスフォーメーション（DX）を推進する官公庁の取り組み、またEBPM（証拠に基づく政策立案）の推進や公教育における情報教育の充実によりデータの利用が大きく増えることが予想される。一方、PCの高性能化やエクセルやR言語等のデータ分析用ソフトの普及、、Python等によるAI・機械学習の応用、ITパスポート等の各種資格の充実で我々がデータ分析で何かをやろうと考える環境も整えられた。 [情I703] 高校情報Ｉ Python 情報科用 高…
自己紹介 株式会社FLINTERS GANMA!チームでフロントエンドエンジニアをしている志村桐門と申します。 この記事は10周年記念として133*1日間ブログを書き続けるチャレンジの13*2日目の記事となります。 この記事は何？ OpenAI x Next.js x Puppeteer でAWSとかGCPとか使用している外部サービスのリリースノートをまとめつつ日本語で表示してみる記事です。 きっかけ きっかけのきっかけ 「あれ導入したらもっと効率的になるのにな」「これやったら面白そうだな〜」「大昔の負債を一気に消したいな...」 って業務中に思うことありますよね？でも時間なくて断念することが…
はじめに みなさんはじめまして、19歳の時に1人で海外に出て以来、海外を旅するように生活しているZiziです。 あなたは「人生一度きりだし、フリーランスとして働いてみたいなー！」こんなことを思ったことはありませんか？ 「でも、フリーランスになるにはどうすればいいのかわからないし、どんな職種が自分に合っているのかわからない...」これが本音だと思います。 本書は、僕がコネなし、スキルなし、オカネなしの状態からフリーランスとして独立した方法を解説した本です。 今、世界中で流行しているコロナウイルスにより、急激に注目されている 「テレワーク」 「リモートワーク」 「フリーランス」 という働き方。 ラ…
まえがき こんにちは。著者のたてばやし淳（通称エクセル兄さん）と申します。私は、Excelやマクロを用いた「仕事と自動化」をテーマに、書籍の執筆、オンライン講座の制作(Udemy受講者12万人)、コミュニティ運営などをしています。 世界を揺るがしたチャット型AI「ChatGPT」をご存知でしょうか？ ChatGPTとは、AIにチャットで質問や命令(依頼)を送ることで、様々なタスクを行ってくれるサービスです。 ChatGPTは2022年11月に公開され、 ● 大学レベルの記述試験や、MBA(経営学修士課程)の最終試験で合格点を取った ● 2023年1月には史上最速でユーザー数1億人を突破 など報…
vaaaaaanquish.hatenablog.com
eh-career.com
nelog.jp
qiita.com
catindog.hatenablog.com
nelog.jp
miyazawataichi.hatenablog.com
yamitzky.hatenablog.com
qiita.com
