Streaming
Filed under
2 posts
モデルへの扉はひとつに。第3回 プロバイダー抽象化とstreaming
stream: trueにした瞬間、トークン計測は推定になる。WebSocketではload balancingが消える。第3回は保証とトランスポートの対応を描く。
ストリーミング応答はパフォーマンスの決定ではなくUXの決定だ
モデルの応答をストリーミングすることは速度の修正ではなく、最初のトークンまでの時間に関するユーザー体験の選択だ。構造化出力やツール使用ではむしろ悪化させることもある。