Streaming
Filed under
2 posts
One Door to the Models, Teil 3: Die Provider-Abstraktion und Streaming
Mit stream auf true wird Token-Zählung zur Schätzung. Über WebSocket gibt es kein Load Balancing mehr. Teil 3 ordnet Garantien den Transporten zu.
Streaming-Antworten sind eine UX-Entscheidung, keine Performance-Entscheidung
Streaming ist eine UX-Entscheidung über Time to First Token, kein Geschwindigkeits-Fix. Es kann strukturierte Ausgabe und Tool-Use sogar verschlechtern.