Chainlit

モデルをどこでロードするのか問題 非同期化 キャッシュとセッション 処理状況をユーザに通知 まとめ モデルをどこでロードするのか問題 Chanlitで大規模言語モデル(LLM)をロードする場合、下記のどこで行うのが適切でしょうか？ グローバルスコープ デコレータ@cl.on_chat_startを付与した関数内 デコレータ@cl.on_messageを付与した関数内 結論から言うと、デコレータ@cl.on_chat_startを付与した関数内で行うのが適切だと思います。 各方法のメリットやデメリットは下表のとおりです。 LLMをロードする場所 メリット デメリット グローバルスコープ アプリ起…

ローカルLLMを使ってチャットアプリを構築したいなと思い調べていたところ、Chainlitがお手軽そうでした。 ごく単純なものであれば、コードを数行書くだけでチャットアプリを作れます。 ただ、自前のサーバ環境がなく、ローカルPCやGoogle Colaboratory上で起動しても外部からはアクセスできないため、何とかならないものかと調べていたところ、トンネリングツールなるものがあることを知りました。 そこで今回はChainlitのサンプルコードの実行とトンネリングツールの一つであるngrokによる外部公開を試してみます。 Chainlit インストール サンプルコードの実行 ngrok 認証…

こんにちは、CCCMKホールディングスTECH LABの三浦です。 あっという間に11月も終わりですね！クリスマスまであと1か月なので、ブログのサムネイルもクリスマス仕様になりました！ はじめに Chainlitのデータ永続化の仕組み 今回試した構成 プロジェクトの構成 docker-compose.yml PostgreSQLの設定 初期設定スクリプトの内容 Chainlitアプリの設定 requirements.txt app.env Chainlitアプリのログインユーザを追加する(add-initial-user.py) Chainlitアプリの定義(app.py) 起動スクリプト(s…

こんにちは、CCCMKホールディングスTECH LABの三浦です。 いつの間にか桜が散って、街の中で緑が目立つようになってきました。外に出るのが心地よい時期なので、ベランダでのんびり出来るようにしようとこの前の休みにベランダの掃除をしました。半日くらいかけてきれいにし、なんだか部屋に入ってくる空気もきれいになったように感じました。ベランダの掃除はついつい後回しにしがちだったのですが、家全体の雰囲気が良くなるので、もっと定期的にベランダの掃除をしようと思いました。 前回LangGraphを使ってPDFファイルとBing Searchを使って質問に回答してくれるAgentアプリケーションを作った話…