tqdm

皆さんもpythonでプログレスバーを表示するために使っているであろうtqdm（tqdm_notebook）ですが、実は近い将来from tqdm import tqdm_notebookでのインポートが廃止されるのはご存知でしょうか！？ この記事では令和*1に於けるJupyter上でのモダンなtqdmのimport方法と、知っておくと便利なtqdmの使い方を紹介します！ TL;DR tqdmとは tqdmの使い方 基本的な使い方 Jupyter notebookで使う 通常のtqdmをJupyterで使うと起きる問題 Jupyter上でのtqdmの（モダンな）インポート方法 generato…

はじめに Pythonを使ってWebページのタイトルを取得するスクレイピングのタスクは、特に大量のURLを扱う場合、進捗状況が気になることがありますよね。 今回は、URLのリストから順次アクセスし、タイトルを取得するだけでなく、「進捗バー」を表示してどこまで処理が進んでいるかを可視化する方法をご紹介します。 さらに、100件ごとに結果をCSVファイルに出力する処理も加えているので、大量のデータも効率的に処理できます。 必要なライブラリ 進捗バーを表示するためには`tqdm`というライブラリを使います。また、`requests`と`BeautifulSoup`を使ってWebページのタイトルを取得…

AI在庫管理の開発チームのバックエンドエンジニアのもっち(@mottyzzz)です。今回は、AI在庫管理の開発において、Gitのコミットログから開発属人性を可視化して品質向上を実施していく箇所の優先順位をつけた事例を紹介します。 この記事は秋の技術特集 2024の 16 記事目です。 背景 優先順位をつけて無理なくコツコツ取り組めるアプローチ Gitのコミットログに着目 Gitのコミットログで開発者の偏りを可視化してみました 結果の解釈と活用 Gitのコミットログを取得し可視化するまでの流れ 前提条件 Gitのコミットログの取得 コミットログのクレンジングと分析対象の決定 コミットログの集計 …

IERAE CTF 2024へ、一人チームrotation & (writeup賞用記載)Tan90909090名義で参加しました。そのwrite-up記事です。 IDAの解析結果ファイル.i64などを、GitHubで公開しています。 2024/09/25 01:20頃追記: The Kudryavka Sequence問題の説明に、Extended Timestamp Extra Fieldの話を追記しました。 2024/09/25 03:00頃追記: Extended Timestamp Extra Fieldの内容確認結果を、タイムゾーンを変更した場合に差し替えました。

はじめに セーフィー株式会社 で画像認識AIの開発エンジニアをしている今野です。 今回は、最新の物体検出アルゴリズムであるYOLOv8を活用して、特定エリアを通過する車両を自動的にカウントするシステムの実装方法をご紹介します。このシステムは、交通量調査や駐車場の利用状況分析など、様々な場面で応用可能な技術です。 本記事では、YOLOv8による物体検出から、検出結果の後処理、そして実際の車両カウントまでの一連のプロセスを、具体的なコード例を交えて解説していきます。AIを活用した実用的なソリューションの構築に興味のある方々にとって、有益な情報となれば幸いです。 はじめに やりたいこと 実施手順 環…

SatokiCTFへ参加しました。そのwrite-up記事です。IDAの解析結果ファイル.i64などはGitHubで公開しています。 2024/09/29 23:30頃加筆: いただいた賞品の話を追記しました。

AI Chat に課金をしているので、サブスクが多くなりすぎたので、Google Colab Pro を解約しました。Google Colab のインターフェースは便利な事も多いので、 今後はローカルランタイムを使っていこうと思い、ChatGPT に次のような質問をしました。 オレ Google colab をローカルランタイム(Windows WSL) で使用しています。(Python 3.12.3) venv 環境を使い pip install jupyter で Jupyter Notebook をインストールし jupyter notebook --NotebookApp.allow_…

ブログの最後にikじゃんけんをします。ぜひ最後まで読んでね！ 何かを作るときだったり、何かを始める時には自分自身がちゃんと認識できているかはともかく多少なりとも目的があると思う。 目的というものは大きかったり小さかったり、明確であったり不明瞭する。どの場合でも目的があるのであれば、その目的を達成したい。もしくはその目的に近づきたいものである。 しかしながら、時間が経つほど目的は自然と大きくなってしまう。それも当然で時間が経過するうちに人は色々なものに触れることで、考えが変わったり、知識や技術を身につけて理解が深まったり、新しくやりたいことが増えていくものです。

背景 目標 手順 実行 データセットを準備 文埋め込み (Sentence embedding) UDFによるスピードアップ 文と埋め込みをDatabricksテーブルに保存する テーブルから文と埋め込みを読み込む Databricksドライバーサイズを増やす ベクトルインデックスの構築 ベクトルサーチを実行 最適化手法 ベンチマーク 次元削減 主成分分析 (Principal component analysis a.k.a. PCA) インクリメンタルPCA 寄与率 (Explained Variance Ratio) 直積量子化 (Product Quantization) パーティショ…

概要 コトバスタの概要についてはニコ百を参照。 dic.nicovideo.jp 目的 現時点で残っているコトバスタのアーカイブをすべて取得し、単語リストを作成する。 より具体的には、Wayback Machineからコトバスタの全アーカイブを取得し、スクレイピングによりタイトルを取得することで、単語リストを作成することを試みた。 スクレイピングにおける配慮 Wayback Machineの利用規約にはスクレイピングを禁止する文言は明記されておらず、また複数のスクレイピングツールが公開されていることから、スクレイピングを行ってもよいと判断した。 もちろんサーバにかかる負荷を軽減するための対策も…

自分 が送信しました: OSError: [WinError 126] このエラーを説明して OSError: [WinError 126] は、指定されたモジュールが見つからないことを示すエラーです。このエラーは、通常、DLLファイルが見つからないか、依存関係が満たされていない場合に発生します12. このエラーを解決するための一般的な方法は以下の通りです: DLLファイルのパスを確認: DLLファイルが正しい場所にあるか確認してください。 依存関係の確認: DLLファイルが他のDLLファイルに依存している場合、それらの依存関係が満たされているか確認してください。 Microsoft Visu…

ランキング参加中歯科、口腔外科 CTからSTL…どういうこと？ セグメンテーション ノートパソコンでも動かせるAIセグメンテーション！ 3D Slicer 3D Slicerのインストール 1. ソフトウェアのダウンロード 2. インストーラの実行 Macの場合 Windowsの場合 ！！上級者向け：homebrew*2を使ったインストール 3D Slicerの実行 起動 Macの場合 Windowsの場合 操作方法 DentalSegmentatorのインストール サンプルデータのダウンロード セグメンテーション 8/1追記☆セグメンテーションの修正 STLデータのエクスポート（書き出し） …

これは、なにをしたくて書いたもの？ 少し前にApache Luceneでベクトル検索（kNN検索、ANN）を試してみました。 Apache Luceneでベクトル検索（kNN検索）を試す - CLOVER🍀 Apache LuceneでkNN検索とANN＋HNSWを使い分ける（Codecを使ったHNSWのパラメーター設定付き） - CLOVER🍀 今度はElasticsearchで試してみたいと思います。 Elasticsearchのベクトル検索 Elasticsearchのベクトル検索に関するドキュメントはこちら。 k-nearest neighbor (kNN) search | Elas…