Hatena Blog Tags
はてなブログ トップ
tqdm
このタグでブログを書く

tqdm

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
C-merのブログ•2年前

#tqdmを黙らせる (tqdmの無効化する・表示させない方法)

Python一生わからないC-merです。 PythonでProgress barを表示させる上でお世話になることの多いtqdmですが、出力結果をテキストファイルに書き出したくなった時、出力を無効化・非表示化したいと思ったので、メモといった感じで解決法をまとめていきたいと思います。 tqdmとは tqdmはリストといったイテラブル (Iterable) のイテレーションの進捗状況を良しなに表示してくてるものです。 from tqdm import tqdm for i in tqdm(range(1000)): pass 100%|███████████████████████████████…

#Python#tqdm

関連ブログ

猫になりたい•3年前

python：tqdmのモダンなimport方法と便利な使い方

皆さんもpythonでプログレスバーを表示するために使っているであろうtqdm（tqdm_notebook）ですが、実は近い将来from tqdm import tqdm_notebookでのインポートが廃止されるのはご存知でしょうか！？ この記事では令和*1に於けるJupyter上でのモダンなtqdmのimport方法と、知っておくと便利なtqdmの使い方を紹介します！ TL;DR tqdmとは tqdmの使い方 基本的な使い方 Jupyter notebookで使う 通常のtqdmをJupyterで使うと起きる問題 Jupyter上でのtqdmの（モダンな）インポート方法 generato…

#Python#tqdm
nikkie-ftnextの日記•8日前

LangChain素振りの記：CookbookよりRewrite-Retrieve-Read。retrieveの前にクエリを書き換えるのか〜

この記事はUzabase Advent Calendar 2023 5日目にしちゃいます！先行するんだ、GO! はじめに 友情か？ 使命か？1 nikkieです。 LLMに関心を持っており、1日1エントリという習慣を使ってたまに素振りしています。 今回は久しぶりにLangChainを素振りしました。 Rewrite-Retrieve-Readなる手法を写経します。 目次 はじめに 目次 Rewrite-Retrieve-Read Cookbook「Rewrite-Retrieve-Read」 Baseline Rewrite-Retrieve-Read 雑感 終わりに P.S. Rewrite…

nikkie-ftnextの日記•16日前

MyGPTsやAssistants APIとアニメについておしゃべりしてみる（ムビマス篇）

はじめに 「でも、私は天海春香だから。」 nikkieです。 かつてLangChainを使って、ChatGPTと劇場版『THE IDOLM@STER MOVIE 輝きの向こう側へ！』についておしゃべりしました。 OpenAI DevDayによってリリースされたものたちでも同じことができるか素振りしました。 目次 はじめに 目次 MyGPTsでムビマスおしゃべりGPTを作る Configuration設定値 ムビマスおしゃべりGPTをAssistants APIでも作る 動作環境 スクリプト MyGPTsとAssistants APIでムビマスおしゃべりを試した感想 終わりに P.S. MyGP…

nikkie-ftnextの日記•21日前

OpenAI DevDayで発表された「Parallel function calling」の例をPythonとopenaiライブラリで素振り

はじめに ダーク・コーリング！ nikkieです。 OpenAI DevDayのキーノートを見て、めちゃめちゃ可能性を感じました1。 今回はDevDayでリリースされたアップデートの1つ「Parallel function calling」について素振りの模様をお届けします 目次 はじめに 目次 Parallel function calling DevDayでのリリース そもそもFunction callingとは Parallel function callingの例を動かす 2023/06に動かしたときからの変更点 openaiライブラリのメジャーバージョンアップ（v1）による変更点 O…

u++の備忘録•24日前

言語処理100本ノック 2020「88. パラメータチューニング」

問題文 nlp100.github.io 問題の概要 何かしらのパラメータをチューニングします。 # ref: https://www.shoeisha.co.jp/book/detail/9784798157184 import re from collections import defaultdict import joblib import pandas as pd import torch from gensim.models import KeyedVectors from torch import nn, optim from torch.utils.data import Da…

u++の備忘録•24日前

言語処理100本ノック 2020「87. 確率的勾配降下法によるCNNの学習」

問題文 nlp100.github.io 問題の概要 RNN で確率的勾配降下法を用いて学習した 言語処理100本ノック 2020「82. 確率的勾配降下法による学習」 - u++の備忘録 と同様です。 # ref: https://www.shoeisha.co.jp/book/detail/9784798157184 import re from collections import defaultdict import joblib import pandas as pd import torch from gensim.models import KeyedVectors from t…

u++の備忘録•24日前

言語処理100本ノック 2020「86. 畳み込みニューラルネットワーク (CNN)」

問題文 nlp100.github.io 問題の概要 CNN を実装します。なお実装時には『現場で使える！PyTorch開発入門 深層学習モデルの作成とアプリケーションへの実装』（翔泳社）のサンプルコードを一部流用しました。 # ref: https://www.shoeisha.co.jp/book/detail/9784798157184 import re from collections import defaultdict import joblib import pandas as pd import torch from gensim.models import KeyedVec…

u++の備忘録•24日前

言語処理100本ノック 2020「85. 双方向RNN・多層化」

問題文 nlp100.github.io 問題の概要 RNN を双方向しました。具体的には bidirectional=True にし、続く層の hidden_size を 2 倍にしています。なお実装時には『現場で使える！PyTorch開発入門 深層学習モデルの作成とアプリケーションへの実装』（翔泳社）のサンプルコードを一部流用しました。 # ref: https://www.shoeisha.co.jp/book/detail/9784798157184 import re from collections import defaultdict import joblib import p…

u++の備忘録•24日前

言語処理100本ノック 2020「83. ミニバッチ化・GPU上での学習」

問題文 nlp100.github.io 問題の概要 ミニバッチでの処理を追加します。なお実装時には『現場で使える！PyTorch開発入門 深層学習モデルの作成とアプリケーションへの実装』（翔泳社）のサンプルコードを一部流用しました。 # ref: https://www.shoeisha.co.jp/book/detail/9784798157184 import re from collections import defaultdict import joblib import pandas as pd import torch from torch import nn, optim f…

u++の備忘録•24日前

言語処理100本ノック 2020「82. 確率的勾配降下法による学習」

問題文 nlp100.github.io 問題の概要 確率的勾配降下法による学習の処理を追加します。なお実装時には『現場で使える！PyTorch開発入門 深層学習モデルの作成とアプリケーションへの実装』（翔泳社）のサンプルコードを一部流用しました。 # ref: https://www.shoeisha.co.jp/book/detail/9784798157184 import re from collections import defaultdict import joblib import pandas as pd import torch from torch import nn, …

u++の備忘録•24日前

言語処理100本ノック 2020「79. 多層ニューラルネットワーク」

問題文 nlp100.github.io 問題の概要 ネットワークを 3 層に変更しています。 import joblib import matplotlib.pyplot as plt import numpy as np import torch from torch import nn, optim from torch.utils.data import DataLoader, TensorDataset from tqdm import tqdm X_train = joblib.load('ch08/X_train.joblib') y_train = joblib.load('c…

u++の備忘録•24日前

言語処理100本ノック 2020「78. GPU上での学習」

問題文 nlp100.github.io 問題の概要 .to('cuda:0') で GPU に転送します。 import joblib import matplotlib.pyplot as plt import numpy as np import torch from torch import nn, optim from torch.utils.data import DataLoader, TensorDataset from tqdm import tqdm X_train = joblib.load('ch08/X_train.joblib') y_train = joblib.…

u++の備忘録•24日前

言語処理100本ノック 2020「70. 単語ベクトルの和による特徴量」

問題文 nlp100.github.io 問題の概要 SWEM *1と呼ばれる特徴量を生成します。 import joblib import numpy as np import pandas as pd from gensim.models import KeyedVectors from tqdm import tqdm def culcSwem(row): global model swem = [model[w] if w in model.key_to_index else np.zeros(shape=(model.vector_size,)) for w in row['TITL…