Hatena Blog Tags
はてなブログ トップ
server-sent events
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

server-sent events

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
nikkie-ftnextの日記•14日前

FastAPIで実装しての学び！ GitHub Copilot Extensionsは、GitHubがホストするOpenAI API互換のLLM APIのレスポンスを、受け流す

はじめに 右から左へ〜 受け流す〜♪ nikkieです。 Blackbeard1を例に、GitHub Copilot Extensionsを実装して知ったことを記事にします。 目次 はじめに 目次 LT「PythonでもGitHub Copilot Extensions作れるもん！」 読み解きNode.js版Blackbeard 1️⃣StreamingResponse 2️⃣リクエストの扱い ヘッダのX-Github-Token ボディのmessages 終わりに LT「PythonでもGitHub Copilot Extensions作れるもん！」 #stapy LTご清聴いただきありがと…

#GitHub Copilot Extensions#Python#server-sent events

関連ブログ

nikkie-ftnextの日記•16日前

OpenAIのChat completions APIからstreamで「data: JSON形式文字列」というデータが返ってくるのですが、openaiライブラリはどこでprefixのdataを除いてJSONを取り出しているの？

はじめに サンシャIN！（朝までラーニング見てます） nikkieです。 ここ最近、OpenAIのAPIでstream呼び出しをしましたが、その中で気になった小さな疑問に取り組んでいきます。 目次 はじめに 目次 OpenAIのChat completions APIをstream呼び出し 結論：SSEDecoderで除かれる 最初の手がかり：テストケース 調査スクリプト stream._iter_events() 落穂拾い 終わりに OpenAIのChat completions APIをstream呼び出し openaiライブラリのクライアントは（同期処理も並行処理も）stream呼び出し…

#openai-python#server-sent events#SSE#ソースコードリーディング
サーバーワークスエンジニアブログ•17時間前

ISUCON14 に出場したので個人としての振り返りを書く (InfraNinja / 9,966点)

こんにちは。自称ソフトウェアエンジニアの橋本 (@hassaku_63)です。 2024/12/08 に開催された ISUCON14 に同僚と出場してきました。個人としての感想エントリを書きます。

hitode909の日記•2日前

ISUCON14 26位だった

前回に出たのが2020年で、子が生まれてからは参加していなかったのだけど、声をかけてもらって、id:tkzwtks, id:akiymと出た。 この2人とは2017年にも一緒に出場して、そのときは朝からビールを飲み、惨敗していた。 準備 準備はほぼなにもしてなくて、やらなければ…とか何度かチャットに書き込んだくらいだった。 自分のブログを見返して、ああこんなのやってたな、とか眺めていた。見返すと、慌てない、とか、精神面のTRYが多い。 個人のスキルとしては、技術的には4年前から何も進歩していないけど、普段の仕事が忙しすぎるため、落ち着いて行動する、みたいなスキルは上がってきていると思う。 IS…

私が歌川です•2日前

ISUCON 14に「ミレニアムサイエンススクール」で参加して22位だった #isucon

はじめに ISUCON 14にチーム「ミレニアムサイエンススクール」で参加しました。メンバーは自分と id:nonylene id:wass80 です。 最終スコアは28875点で、22位でした。やった～ gyazo.com リポジトリはこれです。言語はGoです。なぜなら自分が最速で書けるため……。 github.com やったこと トレーシンググッズを入れる 初手ですね。前日に素振りしていたのでスムーズに入れることができました。といってもだいたいはコピペするぐらいだけど。 通知系エンドポイントが呼ばれる頻度を減らす GET /api/app/notification GET /api/cha…

stefafafan の fa は3つです•3日前

ISUCON14 に参加した (5259点くらい) #isucon

今年も参加しました。いつもありがとうございます！ isucon.net これまでの ISUCON13 に参加した (最終スコア 17996点) #isucon - stefafafan の fa は3つです ISUCON 12予選参加したけど最終スコア12171点で惨敗 #isucon - stefafafan の fa は3つです ISUCON11 予選参加して落ちました (33586点) #isucon - stefafafan の fa は3つです 分担 うちのチームはこれといった決まった分担はなく、初動だけ誰が環境をセットアップして誰が計測ツール入れてという割り振りは決めていますが、そ…

nikkie-ftnextの日記•11日前

GitHub Copilot ExtensionsでGitHubのログインハンドルを取得し、メンションするようプロンプトに記載する（Python・FastAPIを使ったBlackbeard実装、完全版！）

はじめに アニメ アオのハコ 9話、急展開！（キャー！） nikkieです ここのところ、GitHub Copilot ExtensionsをPythonで実装することに夢中です。 今回はHello worldにあたるBlackbeardを完全版にします 目次 はじめに 目次 GitHub Copilot ExtensionsのBlackbeard GitHubのログインハンドルにメンションする ドキュメント「GitHub API からのリソースのフェッチ」 終わりに GitHub Copilot ExtensionsのBlackbeard Copilot Chatの@の相手を、独自に実装でき…

nikkie-ftnextの日記•12日前

StreamingResponseを返すFastAPIアプリケーションのテストの書き方を考える

はじめに エンジニアニメ、ありがとうございました！ nikkieです。 さくらインターネットさんで櫻木真乃さんのお話をしたよ... FastAPIのテストについての続編です。 現時点の思考のログといった趣です。 私は経験少ない（最近書き始めた）ので、「もっとよいやり方がある」という情報をお待ちしています🙏 動作環境は、はじめてTestClientの記事と同じです 目次 はじめに 目次 StreamingResponseを返すFastAPIアプリ HTTPXでstreaming responseをさばく 現時点の結論：HTTPX同様にTestClientでもstreamをさばいてテストする St…

nikkie-ftnextの日記•17日前

HTTPXでレスポンスをstreamで扱う（OpenAIのChat completionsを例に）

はじめに シャニマス、むずい... nikkieです。 OpenAIのChat completionsは、クライアント（openaiライブラリ）で1トークンずつ処理（streamで処理）できます。 openaiライブラリはHTTPX1を使っていると知っていたので、HTTPX単体のstreamを素振りしました。 ※なおOpenAIのAPIを使うのであれば、HTTPXではなく、使いやすくラップしてくれているopenaiライブラリを使うほうがよいと考えます。 本記事は理解を深めるための車輪の再実装です 目次 はじめに 目次 OpenAIのChat completions、curlでstream HT…

nikkie-ftnextの日記•17日前

OpenAIのChat completions APIをstreamで使う（Pythonクライアントでstream=Trueを指定）

はじめに 今晩は朝までラーニング! nikkieです。 ChatGPTが流れるように出力する仕組みに迫る素振りです。 目次 はじめに 目次 OpenAI Cookbook「How to stream completions」 動作環境 streamを指定しない場合 streamを指定する場合 まとめ：OpenAIのChat completionsでstream指定の有無の比較 終わりに 番外編：asyncバージョン OpenAI Cookbook「How to stream completions」 OpenAIのGPTをはじめとするLLM（大規模言語モデル）は、プロンプトに続く文章を1トーク…

mnagaaのメモ•3ヶ月前

通信方式 ~vol.1~ (WebSocket)

最近自分が作りたいものがあり、それに必要な技術などを調査している。調査したことの整理のために、何回か分けてアウトプットする。今回はWebSocketについて WebSocketの概要 クライアントとサーバー間で双方向通信をリアルタイムで行うためのプロトコル HTTPのようなリクエスト・レスポンスの仕組みとは異なり、一度接続が確立されると、クライアントとサーバーの両方がいつでもデータを送受信することができる リアルタイム性が求められるアプリケーションに非常に適している チャットアプリ オンラインゲーム 金融取引のダッシュボード 通信が軽量である WebSocketの特徴 双方向通信: クライアン…

Fenrir Engineers•3ヶ月前

ALBはServer-Sent Eventsが動きます！

はじめに こんにちは、バックエンド/インフラ担当の森井です。 最近Server-Sent Eventsを触っていたのですが、負荷分散はNLBを使わないといけない気がするな〜面倒くさいな〜と思いながらALBを通してみたら、普通に動いたので驚きました。 Server-Sent Eventsとは Server-Sent Eventsは、HTTP接続によりサーバーからクライアントへとデータを継続的に送信できる技術です。 詳しくはMDNの説明をご覧ください。 サーバー送信イベント - Web API | MDN 継続的に更新されるデータをクライアントに配信したい場合、最も原式的な方法はポーリングです。 …

LIFULL Creators Blog •3ヶ月前

LLMを利用したPlatform Engineering

KEELチーム の相原です。 これまでKEELチームではKubernetesベースの内製PaaSであるKEELを開発・運用しながら、合間で社内で汎用AI(仮)と呼ぶAutoGPT実装 keelai を開発してきました。 www.lifull.blog 我々はあくまでプラットフォーマーであり、目指すところはLLMを利用したPlatform Engineeringです。 いくつかの取り組みが実を結んできたのでここで紹介したいと思います。 APIの提供 GitHub ActionsからのLLM利用 Slack AutomationsによるLLMノーコードツールの提供 Chrome Extension…