英語で"scrape"とは「削ること」。 特に、ウェブサイトのデータを必要な部分だけ抽出して利用すること。
年の瀬ですね。クリスマスの足音も近く、ピザなんかを頼んだら景気が良いかなと思ったので、GitHub 上で Issues を生やすとピザが頼める仕組み（workflows）を構築してみました。本記事は mast Advent Calendar 2023 の 7 日目の記事です。6 日目は Hitoko T. 先生の記事「我が家に猫3匹がやって来た話｜Hiroko T.」でした。猫、癒やしですよね折角のアドカレの機会ですから、GitHub 上でピザを頼むまでの過程を、GitHub や Web 技術、ピザ等に明るい方にも、そうでない方にもお楽しみいただけるように説明*1*2を進めていきます*3。少し…
はじめに この記事はサステナブルなぴょこりんクラスタアドベントカレンダーのために書きました。 競馬、なにもわからない おれたちは雰囲気でやっている。競馬デビューした2日目の僕の記事からもそういう感じが伝わってくるのではないでしょうか？推す前にやはりやはりよく知る必要があるのではないかと、そう思いました。 競走馬のライフサイクル まずは競走馬の一生について学んでいきましょう。 馬産地をめぐる情勢 - 農林水産省生産局畜産部 競馬監督課 この資料の3, 4ページ（ページ番号だと1, 2ページ）がわかりやすくてよかったです。２歳くらいで実際に競馬に参戦、競走馬としては地方競馬と中央競馬を行き来したり…
はじめに 先日 2023年12月2日に「第2回緑以下コンテスト」を開催しました。 緑以下コンテストとは、AtCoder Problemsのdifficultyが緑以下であると予想される問題だけを出題するというコンセプトのプログラミングコンテストです。 私はオンサイトのプログラミングコンテストに行くのが大好きなのですが、オンサイトは高難易度のコンテストであることが一般的なため、どうしても楽しめる人が限られてしまいます。 そこで、初心者の方にもオンサイトコンテストの楽しさを知ってもらいたいと思いこのようなコンテストを開催することにしました。 はじめに 企画が生えるまで 作問について 会場について …
以前このブログでも触れたことのあるWebスクレイピングに使用されるSeleniumについて、久しぶりにトラブルに巻き込まれたのでその時のメモです。今回は、【旧】Dellノートパソコン、Windows10 Pro、miniconda、Python【新】自作デスクトップ、Windows11 Pro、miniconda、Pythonのパソコン間でSeleniumを使用するプログラムを移植するという作業でした。旧パソコンではCondaのbase環境にすべてを一緒くたにしてインストールしていましたが、世間の教えに従ってWebスクレイピング専用の仮想環境をCondaで作成して、そこへ引っ越すべく、コードや…
データインテリジェンスチームの畑です。 今回のブログテーマは「Promptflowを使ってQ&Aの仕組みを作ってみた！」です。 独自の文書から質問・回答する仕組みをAzure Machine Learningに追加されたPromptflowを使って実装してみます。 本記事は連載記事です。 ----------------------------------------------------------------------------- 第一弾：Promptflowを使うための準備編 第二弾：独自データを使ったQ&Aのフロー作成編 第三弾：質問・回答の精度向上＆エンドポイントへのデプロイ編…
pythonをインストールしてみた。以下をみながら。全部の作業はしていない。 Anaconda3 2023.07 のインストール（Windows 上） (kkaneko.jp) 下記の本を見ているが、優しすぎるか？ 適切な本かどうかわからないが とりあえず、ざっと見よう。 ●図解！ Pythonのツボとコツがゼッタイにわかる本 超入門編（秀和システム） 次はこっちかな？ ●Python「完全」入門 松浦健一郎/司ゆき SB Creativ そもそもPythonで何ができるかだ。 以下があげられる。 Pythonでできること7選！コード例をまじえて解説！｜スタビジ (toukei-lab.com…
気になった用語等をまとめる 第1-7章_入門編 学んだこと 複数行にわたる文字列の出力 print(""" 1 2 3 """) >> ←空行 1 2 3 ←空行 行の最後の\は次の行に続くため改行されない メソッドとは変数等の後に.を付けその後に書いて実行する命令（.の前にある変数等の型と結び付けられている） リストと辞書は参照渡し リストの重複削除にはsetを使う l = [0, 1, 1, 2] a = set(l) print(a) >> {0, 1, 2} # 集合になる 値が入っていないことを判定するテクニック a = 0 if a: print(OK) else: print(N…
今日は、法務・コンプライアンス・AI倫理担当の古川が担当させていただきます。これで４回目のアドベントカレンダーです。筆者の経歴などは過去の記事で書きましたので省略します。若干追加するならば、Global Partnership On AI（GPAI）というOECDが運営するAIの適切な利活用に関する取り組みの日本の専門家委員を1月からやっております。GPAIを通じてAI倫理だとか責任あるAIの国際的な様々な取り組みに関与させていただいています。 今年も去年に従って「AI倫理ニュース振り返り2022年」を書こうと思ったのですが、より興味が高いであろう国内外のルールメーキングの状況をお話しします。…
この記事はさくらインターネット Advent Calendar 2023の12月3日の記事になります。 先日行われました ISUCON13 の作問を担当しました。参加者の皆様、スタッフの皆様ありがとうございました。 このエントリではISUCON13のDNSに関わる要素とベンチマーカーから行われたDNS水責めについて紹介します。 ISUCON13の問題の講評と解説は以下のエントリーでも行っていますので読んでいただけると嬉しいです isucon.net こんいす〜 ISUCON13における名前解決 上記のエントリーにもある通り、今回のISUCONではDNSが問題の一部として出てきます。 これまでポ…
stepfunctions: 最新版に更新 iotfleetwise: カメラ、レーダー、ライダーからのデータなど、ビジョンシステムデータの新API導入 fsx: FSx for ONTAPのスケールアウトファイルシステムとFlexGroupボリュームのサポート追加 eks: EKSポッドアイデンティティ機能のサポート追加 redshift: データ共有を通じた複数データウェアハウスへの書き込みサポート追加 efs: 最新版に更新 codestar-connections: CloudFormation Git同期機能のサポート追加 endpoint-rules: 最新版に更新 config:…
日本代表の河村選手の B リーグでの活躍を見てない人、おる？？？？ちなみに自分は森井選手推しである。
僕は未経験からエンジニアになり、今はメガベンチャーでエンジニアとして働いている。 未経験からエンジニアになるのはそれなりに難しく、願いが敵わないパターンも多くあると聞く。 そんな中、なぜ自分はエンジニアになり、メガベンチャーで働くことができるようになったのかを分析するため、未経験からエンジニアになるまでに歩んだ道のりのポイントポイントで抱えていた悩み、頑張っていたことなどを思い出し書いてみる。 今、未経験からエンジニアを目指している人がいれば参考になるかもしれない。 （時代や運の影響もあるのであくまで参考程度に) webデザイナーブラック期（スクール、契約社員） 悩んでいたこと デザインができ…
本記事は、dbt advent calendarの内容です。 qiita.com オープンデータ+BiqQuery+dbt+Streamlitという構成で、東京都における犯罪ダッシュボードを作ってみました。 完成品とコードはこちら 東京犯罪ダッシュボード データ処理&アプリコード dbtプロジェクトコード 今回は、dbtのチュートリアル的王道パターンを一通り使ってみることを目的にしているので、もし「こんな機能もつかってみては？」などあれば、是非ともコメントいただけると嬉しいです！ それでは、いってみましょう！ 犯罪オープンデータとは？ 官民データ活用推進基本法（平成28年法律第103号）に基づ…
早くも11月末日、ついに2023年も12月になりますねー。 お久しぶりですトリスフです。 なんだか年1回程度しか更新しないブログになっておりますが、相変わらずアクセスしてくださっている方がいらっしゃるようなので記事でも書いてみようかなと。 今日のテーマは自分が後で読むと思ってこの1年Pocketに保存していた記事をブログに貼り付けしていくついでに読んでいこうという記事です。でも主に貼り付け作業ばかりになる予定です。 Pocketって何って方は下記参照。ちなみに私は無料版です。 ferret-plus.com PocketはスマホとPC両方に入ってまして、これは秀逸であとで参考にしたい！と思った…
昔、使っていたGoogleアカウントの整理。 これは以前に、企業で事務兼開発もどきのような形態で働いていた時に、身近な環境に全く情報がないながらも挑戦したGAS/Webスクレイピングに使用したアカウントが、直後に長期間の親族トラブルに巻き込まれ続けて管理が行方不明となった自動スクリプトを含んでいた。 また１年間経ても全く進まずに更新できなかった実家の住所録の整理。 これなどは毎年末に、ワザと遅らせておいて後でまだ完了していないとなぜか文句を言われながら進めるハメに何回も何年も陥っているブラックワークの一つだが、デジタルを使っても全く学ぼうとしない人と付き合う時には、気を付けなければいけない部分…
vaaaaaanquish.hatenablog.com
eh-career.com
nelog.jp
qiita.com
catindog.hatenablog.com
nelog.jp
miyazawataichi.hatenablog.com
yamitzky.hatenablog.com
qiita.com
