tqdm

皆さんもpythonでプログレスバーを表示するために使っているであろうtqdm（tqdm_notebook）ですが、実は近い将来from tqdm import tqdm_notebookでのインポートが廃止されるのはご存知でしょうか！？ この記事では令和*1に於けるJupyter上でのモダンなtqdmのimport方法と、知っておくと便利なtqdmの使い方を紹介します！ TL;DR tqdmとは tqdmの使い方 基本的な使い方 Jupyter notebookで使う 通常のtqdmをJupyterで使うと起きる問題 Jupyter上でのtqdmの（モダンな）インポート方法 generato…

前回、深層強化学習における連続値制御のモデル構築について書きました。今回は、その時に構築したモデルを改良し、精度向上に取り組みます。前回の記事をまだ見ていない方は、ぜひご覧ください。 www.dskomei.com 連続値制御の深層強化学習を改良するために、今回は Soft Actor Critic というモデルを実装します。これは、学習時の選択手の幅をよりもたせるために、目的関数にエントロピー項を追加しています。従来の目的関数は期待報酬の合計でしたが、この目的関数にエントロピー項が加わり、それらを最大化させます。そのことで、期待報酬を大きくしながら選択手の探索幅を広げることも可能にしています…

zer0pts で ACTF に出たのでwriteupです。真面目に取り組んで8位でした。簡単な前2問はよくできていて面白かったです。後ろ2問は特にcrypto的に面白いことがない割に取り組むのが大変でした Impossible RSA RSA Leak secure connection retros Impossible RSA from Crypto.Util.number import * from Crypto.PublicKey import RSA e = 65537 flag = b'ACTF{...}' while True: p = getPrime(1024) q = i…

ノック96 : 動画ファイルを画像ファイルへ分割してみよう 動画ファイルを複数の画像ファイルに変換します。 capというオブジェクトを作成します。(VideCaptureクラス） os.makedirsで画像ファイルを保存するフォルダimage_by_pyを作成します。 exist_ok=1は既存フォルダがあってもエラーを返さないように設定しています。 exist_ok=0 やexist_ok=Falseとすると以下のようなエラーが表示されます。 「FileExistsError: [WinError 183] 既に存在するファイルを作成することはできません。: 'data/image_by_…

３度目のCTF出場。pwnの勉強を始めたのでcrypto+pwnを狙ったものの、cryptoは2/5でpwnは1/5なので惨敗。特にcryptoがあかん、一番簡単な問題が解けんとはどゆこと・・・？ １週間後にwriteup書いているが、サーバーの問題がなぜか見れなくなっているので、解けなくて手元に問題が残ってたものだけwriteup書きます。 Coughing Fox from random import shuffle flag = b"ctf4b{XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX}" cipher = [] for i in range(…

kaggleなどでのテーブルコンペの公開ノートブックではそのノートですべてを完結させるという意味でもノート内で特徴量を作成していることが多いです。 しかし、長期間のコンペになると実験数は増えるし、処理に時間がかかる特徴量を使うケースも増えてきます。実験のたびに特徴量を計算するのは地球にやさしくない。。。 この問題に対するシンプルな対策は作った特徴量をファイルで保存しておいて読み取るだけにすることだと思います。 具体的な方法は kaggle 特徴量 管理 でググれば素晴らしい記事がいくつも出て来ると思います。 今回は特徴量毎に数値特徴量かカテゴリ特徴量かの情報も欲しくなったのでその情報も一緒に管…

人間と同じように考える機械を作るのは、人間の大きな夢であり、それができるかもしれないと言われているのが強化学習の枠組みです。強化学習は、ディープラーニングを取り入れることでめざましく進化してきました。今回は、そのディープラーニングを使って行う強化学習である深層強化学習を実践していきます。前回は、方策が離散的な場合の Actor Critic モデルを構築しました。そちらが気になる方は前回の記事を是非ご覧ください。 www.dskomei.com 今回は、方策が連続値である場合の深層強化学習のモデルを実装します。方策が連続値と離散値ではモデルの作り方が異なります。離散値の場合は、Actor モデ…

pip installした時のゲージがなんかきれいになってる pic.twitter.com/vDjIgIQFg4— wata_d (@wata_d) 2022年6月5日 ソースを見たらrichというのを使っているみたいですね。tqdmしか知らなかったけど、色々ありますねぇ。 使い方はほとんど同じでrangeとかリストをラップした関数を呼ぶだけで良いみたい。 import time from rich.progress import track for n in track(range(100), description="Processing..."): time.sleep(0.05)

はじめに 本記事では、Pythonで使用するモジュールを一式インストールする方法を紹介します！ Pythonで使用するモジュールを一つ一つ打込んで、めんどくさいし、時間がかかっているということはないですか？この記事はあなたのそんな悩みを解決します！ この記事を読むと手間のかかるモジュールのインストールを自動化・時短化して、あなたの時間を作り出すことができます！ 最後に一般的なモジュールを自動的にインストールするバッチファイル（.bat）を公開しているので、ぜひ確認してみてください！ はじめに Pythonとは？ Pythonでのモジュールとは？ Pythonモジュールを一式インストールするバッ…

完全一致画像の検索 ローカルに画像が増えてきて、容量を削減したいけど画像数が多すぎてどっから消せばいいのかわからないという現象に悩まされてきたので、とりあえず完全一致している画像を検索して消すことにしました。 環境 Windows11 Anaconda Python 3.8.12 手順 もっとスマートな手順もあるのかもしれませんが、愚直に行きます。 検索対象（インプット） 大量の画像が格納されているフォルダ 検索手順 大量の画像が格納されているフォルダから画像ファイルの一覧を取得 画像を一枚ずつOpenCVを使って画像をベクトル化して画像ベクトルのリストを作成 画像ベクトルのリストを2重ループ…

pandasクックブック 目次 目次 はじめに DataFrameのメモリサイズや、各列の型などを確認する。 DataFrameの一部をカテゴリデータに変換する 複数の条件式を使って、DataFrameの一部を抽出する MultiIndexで特定のレベルのindexを取得する Pandasのapplyを高速化する applyにプログレスバーをつけたい。 参考資料 MyEnigma Supporters はじめに 大量のデータを処理する時にPythonのPandasは 非常に便利なライブラリですが、 myenigma.hatenablog.com 久しぶりにPandasを使うと、 このようなこと…

はじめに 結果 Pythonスクリプト 修正前 修正後 動作環境 環境構築 はじめに以前に書いたスクリプトの動作確認になります。 touch-sp.hatenablog.com 今回はUbuntu 22.04 on WSL2を使用しています。 PythonもMXNetもGluonCVも新しいバージョンになっています。結果問題なく動作しました。Pythonスクリプト import numpy as np import mxnet as mx from mxnet.gluon.data.vision import transforms from gluoncv.model_zoo import g…

はじめに 本記事では、Pythonで使用するモジュールを一式インストールする方法を紹介します！ Pythonで使用するモジュールを一つ一つ打込んで、めんどくさいし、時間がかかっているということはないですか？この記事はあなたのそんな悩みを解決します！ この記事を読むと手間のかかるモジュールのインストールを自動化・時短化して、あなたの時間を作り出すことができます！ 最後に一般的なモジュールを自動的にインストールするバッチファイル（.bat）を公開しているので、ぜひ確認してみてください！ はじめに Pythonとは？ Pythonでのモジュールとは？ Pythonモジュールを一式インストールするバッ…