tqdm

皆さんもpythonでプログレスバーを表示するために使っているであろうtqdm（tqdm_notebook）ですが、実は近い将来from tqdm import tqdm_notebookでのインポートが廃止されるのはご存知でしょうか！？ この記事では令和*1に於けるJupyter上でのモダンなtqdmのimport方法と、知っておくと便利なtqdmの使い方を紹介します！ TL;DR tqdmとは tqdmの使い方 基本的な使い方 Jupyter notebookで使う 通常のtqdmをJupyterで使うと起きる問題 Jupyter上でのtqdmの（モダンな）インポート方法 generato…

本記事は2024年10月5日（土）にAlpacaHack上で開催された、AlpacaHack Round 4(Rev)上で出題された"Simple Flag Checker"という問題のwriteupです。AlpacaHackは個人戦の短期間CTFを継続して開催しつつ、それらの問題を常設することを目標とした新しいCTFプラットフォームです。AlpacaHackで開催される各ラウンドは1ジャンルをテーマとしていて、今回のAlpacaHack Round 4(Rev)はReversingをテーマとしたラウンドでした。私は本Roundに2問の問題を提供し、今回解説する問題である"Simple Fla…

AlpacaHack Round 4 (Rev)へ参加しました。そのwrite-up記事です。

はじめに Pythonを使ってWebページのタイトルを取得するスクレイピングのタスクは、特に大量のURLを扱う場合、進捗状況が気になることがありますよね。 今回は、URLのリストから順次アクセスし、タイトルを取得するだけでなく、「進捗バー」を表示してどこまで処理が進んでいるかを可視化する方法をご紹介します。 さらに、100件ごとに結果をCSVファイルに出力する処理も加えているので、大量のデータも効率的に処理できます。 必要なライブラリ 進捗バーを表示するためには`tqdm`というライブラリを使います。また、`requests`と`BeautifulSoup`を使ってWebページのタイトルを取得…

IERAE CTF 2024へ、一人チームrotation & (writeup賞用記載)Tan90909090名義で参加しました。そのwrite-up記事です。 IDAの解析結果ファイル.i64などを、GitHubで公開しています。 2024/09/25 01:20頃追記: The Kudryavka Sequence問題の説明に、Extended Timestamp Extra Fieldの話を追記しました。 2024/09/25 03:00頃追記: Extended Timestamp Extra Fieldの内容確認結果を、タイムゾーンを変更した場合に差し替えました。

こんなことをやろうとした背景（読み飛ばし可） 割とのんびりMinecraftをプレイしているのですが、調子に乗ってラージバイオームを選択してしまったばかりに最寄りのジャングルバイオームが数千ブロック先にあることがわかりました。せっかくなのでこの際、数千ブロック先まで鉄道を敷設してしまおうということで、Pythonで最適経路を探索するための下準備として地形データを読み込む必要が出てきたのがこの記事の背景です。 Minecraftの地形データ取得 ブロックの情報が保存されているmcaファイルについて バージョン1.20時点で、Minecraftの地形（正確にはブロックなどの情報を含むチャンク）デー…

はじめに セーフィー株式会社 で画像認識AIの開発エンジニアをしている今野です。 今回は、最新の物体検出アルゴリズムであるYOLOv8を活用して、特定エリアを通過する車両を自動的にカウントするシステムの実装方法をご紹介します。このシステムは、交通量調査や駐車場の利用状況分析など、様々な場面で応用可能な技術です。 本記事では、YOLOv8による物体検出から、検出結果の後処理、そして実際の車両カウントまでの一連のプロセスを、具体的なコード例を交えて解説していきます。AIを活用した実用的なソリューションの構築に興味のある方々にとって、有益な情報となれば幸いです。 はじめに やりたいこと 実施手順 環…

SatokiCTFへ参加しました。そのwrite-up記事です。IDAの解析結果ファイル.i64などはGitHubで公開しています。 2024/09/29 23:30頃加筆: いただいた賞品の話を追記しました。

ブログの最後にikじゃんけんをします。ぜひ最後まで読んでね！ 何かを作るときだったり、何かを始める時には自分自身がちゃんと認識できているかはともかく多少なりとも目的があると思う。 目的というものは大きかったり小さかったり、明確であったり不明瞭する。どの場合でも目的があるのであれば、その目的を達成したい。もしくはその目的に近づきたいものである。 しかしながら、時間が経つほど目的は自然と大きくなってしまう。それも当然で時間が経過するうちに人は色々なものに触れることで、考えが変わったり、知識や技術を身につけて理解が深まったり、新しくやりたいことが増えていくものです。

nazology.net イギリス・リバプール大学(University of Liverpool)の研究チームは、因果集合理論（causal set theory）と呼ばれる量子重力の新しい理論を使い、宇宙の始まりについて計算したところ、宇宙に始まりはなく無限の過去に常に存在していたという結果を得ました。 宇宙に始まりはなく過去が無限に存在する可能性が示される - ナゾロジー この結果に従うと、ビッグバンは宇宙が遂げた最近の進化の1つでしかないということになります。 宇宙に始まりはなく過去が無限に存在する可能性が示される - ナゾロジー この研究は『arXiv』で公開されたのみで、査読付き論…

背景 目標 手順 実行 データセットを準備 文埋め込み (Sentence embedding) UDFによるスピードアップ 文と埋め込みをDatabricksテーブルに保存する テーブルから文と埋め込みを読み込む Databricksドライバーサイズを増やす ベクトルインデックスの構築 ベクトルサーチを実行 最適化手法 ベンチマーク 次元削減 主成分分析 (Principal component analysis a.k.a. PCA) インクリメンタルPCA 寄与率 (Explained Variance Ratio) 直積量子化 (Product Quantization) パーティショ…

概要 コトバスタの概要についてはニコ百を参照。 dic.nicovideo.jp 目的 現時点で残っているコトバスタのアーカイブをすべて取得し、単語リストを作成する。 より具体的には、Wayback Machineからコトバスタの全アーカイブを取得し、スクレイピングによりタイトルを取得することで、単語リストを作成することを試みた。 スクレイピングにおける配慮 Wayback Machineの利用規約にはスクレイピングを禁止する文言は明記されておらず、また複数のスクレイピングツールが公開されていることから、スクレイピングを行ってもよいと判断した。 もちろんサーバにかかる負荷を軽減するための対策も…

ランキング参加中歯科、口腔外科 CTからSTL…どういうこと？ セグメンテーション ノートパソコンでも動かせるAIセグメンテーション！ 3D Slicer 3D Slicerのインストール 1. ソフトウェアのダウンロード 2. インストーラの実行 Macの場合 Windowsの場合 ！！上級者向け：homebrew*2を使ったインストール 3D Slicerの実行 起動 Macの場合 Windowsの場合 操作方法 DentalSegmentatorのインストール サンプルデータのダウンロード セグメンテーション 8/1追記☆セグメンテーションの修正 STLデータのエクスポート（書き出し） …