asyncio

最近良く非同期処理を書く。 非同期処理を書くときはthreading.Threadをよく使っていたが、最近はasyncioも使うことがある。 asyncioはスレッドを作らなくても良くてイベントループにタスクを追加する？だけで良いので処理が軽いのがメリットかなと考えている。 Threadはスレッドを作るときのコストが大きいので処理時間が短いものをThreadにするとスレッドの作成時間 + 処理時間で考えるとスレッドの作成時間分だけasyncioよりも不利になるという認識。 処理時間が長くてスレッド数がそれほど多くないならThreadingでも良いのかなと思う。 asyncioならスレッド数や処…

はじめに たくさん、どうぞ！1 nikkieです。 毎日夏！って感じですが、今日も元気にOpenAIのAPIを叩いていきたいと思います！ 今回はたくさん送るので、並行処理を模索しました。 現時点での考えのバックアップ目的のエントリです。 目次 はじめに 目次 データセット数千件をChatGPTに固有表現認識させたい ライブラリopenaiをイベントループで利用する コード例（コメント歓迎） 終わりに データセット数千件をChatGPTに固有表現認識させたい 今回の状況の共有です。 論文「Is Information Extraction Solved by ChatGPT?」に興味を持ちました…

非同期処理はPythonの開発において非常に強力なツールですが、タイムアウトやキャンセル処理の管理がしばしば必要とされます。本記事では、Pythonの標準ライブラリであるasyncioを使用して非同期タスクのタイムアウト処理とキャンセル処理を行う方法について詳しく解説します。具体例と具体的なコードを交えながら、効果的な実装方法を説明します。 1. asyncioとは asyncioはPython 3.4から導入された非同期I/Oをサポートするための標準ライブラリです。これにより、非同期処理を使用して非同期タスクを簡単に管理できます。asyncioはasyncとawaitキーワードを使用して非同…

Pythonの非同期処理を効率的に実現するためには、asyncioと呼ばれるモジュールを使用することができます。asyncioは、イベント駆動型の非同期プログラミングをサポートするための機能を提供します。本記事では、asyncioを使用してイベントループを管理する方法について詳しく説明します。具体的な例とコードを交えながら、asyncioの基本的な機能と使用方法を解説します。 まず、イベントループとは、非同期処理の中心となるメカニズムです。イベントループは、非同期タスクやイベントのスケジューリングや実行を管理し、非同期処理の流れを制御します。asyncioを使用すると、イベントループを簡単に作…

Get OAuth 2.0 Refresh Tokens · GitHub Jupyter Notebookで、一回きりのTCP接続の待ち受けをしてOAuth 2.0 のアクセストークンを取得する。 GMail APIに使用できるアクセストークンはデバイスフローでは取得できない。gmail関連のscopeを受け付けない。 Authorization Code Flow (認可コードフロー)のローカルリダイレクトを使ってNotebookで受け取る。 google api の場合、redirect_uriで localhostは事前に登録しなくても使用できる。ポート番号もauthorization…

Python に入門しなきゃと思いつつ半年が経ってしまった AIR Design for Marketing 事業部バックエンドエンジニアの成田です。 AWS Lambda の呼び出しを aioboto3 を使って非同期化してみたところ、呼び出し完了までが 100 倍速 ほどになり大変捗ったのでご紹介します。

エンジニアの鈴木（泰）です。 今回は、multiprocessingとthreadingとasyncioの違いとはなんだろう？という問に挑戦してみたいと思います。 この問の答えをグーグル先生に聞いてみると、非常にたくさんの情報がヒットします。しかしながら、どの情報も断片的なものばかりで（本記事もそうなのかもしれません）、色々と本を読んだりネットを漁ったりして、情報を補完しなければなりませんでした。 本記事は、僕が調べた限りの情報を集約し、この問に対する結論を１つの記事にまとめたものとなっています。 前提 マルチプロセスとは マルチスレッドとは Pythonにおけるマルチスレッド 本題 マルチプ…