Hatena Blog Tags
はてなブログ トップ
Chainlit
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Chainlit

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
noriho137’s diary•11日前

Chainlitで大規模言語モデルを非同期にロードしてキャッシュする

モデルをどこでロードするのか問題 非同期化 キャッシュとセッション 処理状況をユーザに通知 まとめ モデルをどこでロードするのか問題 Chanlitで大規模言語モデル(LLM)をロードする場合、下記のどこで行うのが適切でしょうか？ グローバルスコープ デコレータ@cl.on_chat_startを付与した関数内 デコレータ@cl.on_messageを付与した関数内 結論から言うと、デコレータ@cl.on_chat_startを付与した関数内で行うのが適切だと思います。 各方法のメリットやデメリットは下表のとおりです。 LLMをロードする場所 メリット デメリット グローバルスコープ アプリ起…

#Python#Chainlit#LLM

関連ブログ

noriho137’s diary•1ヶ月前

Chainlitチャットアプリにngrokで外部からアクセス

ローカルLLMを使ってチャットアプリを構築したいなと思い調べていたところ、Chainlitがお手軽そうでした。 ごく単純なものであれば、コードを数行書くだけでチャットアプリを作れます。 ただ、自前のサーバ環境がなく、ローカルPCやGoogle Colaboratory上で起動しても外部からはアクセスできないため、何とかならないものかと調べていたところ、トンネリングツールなるものがあることを知りました。 そこで今回はChainlitのサンプルコードの実行とトンネリングツールの一つであるngrokによる外部公開を試してみます。 Chainlit インストール サンプルコードの実行 ngrok 認証…

#Python#Chainlit#ngrok
CCCMKホールディングス TECH LABの Tech Blog•8ヶ月前

Chatアプリケーションが開発出来る"Chainlit"をPostgreSQLと接続して会話データの永続化を実現してみました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 あっという間に11月も終わりですね！クリスマスまであと1か月なので、ブログのサムネイルもクリスマス仕様になりました！ はじめに Chainlitのデータ永続化の仕組み 今回試した構成 プロジェクトの構成 docker-compose.yml PostgreSQLの設定 初期設定スクリプトの内容 Chainlitアプリの設定 requirements.txt app.env Chainlitアプリのログインユーザを追加する(add-initial-user.py) Chainlitアプリの定義(app.py) 起動スクリプト(s…

#LLM#AI#Chainlit
CCCMKホールディングス TECH LABの Tech Blog•1年前

LangGraphで作ったAgentアプリケーションをChainlitで利用できるようにしました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 いつの間にか桜が散って、街の中で緑が目立つようになってきました。外に出るのが心地よい時期なので、ベランダでのんびり出来るようにしようとこの前の休みにベランダの掃除をしました。半日くらいかけてきれいにし、なんだか部屋に入ってくる空気もきれいになったように感じました。ベランダの掃除はついつい後回しにしがちだったのですが、家全体の雰囲気が良くなるので、もっと定期的にベランダの掃除をしようと思いました。 前回LangGraphを使ってPDFファイルとBing Searchを使って質問に回答してくれるAgentアプリケーションを作った話…

#Agent#Chainlit
CCCMKホールディングス TECH LABの Tech Blog•1年前

Chainlitを使ってチャットアプリを作ってみました！

Chainlitを使ってチャットアプリを作ってみました！ こんにちは、CCCMKホールディングス TECH LABの三浦です。 先日久しぶりに飛行機に乗りました。当たり前のことなのですが、飛行機を使うと数100キロ離れていてもあっという間に移動することが出来ます。朝起きた場所と、夜眠る場所が数100キロも離れてるなんてなんだか不思議だな、と思いました。 最近以前から試してみたいな、と思いつつ、なかなか試すことが出来ていなかったChainlitというPythonのライブラリをついに試すことが出来ました！Chainlitを使うととてもスピーディーにチャット型のアプリケーションを作ることが出来ます。…

#Chainlit