Streaming
Filed under
1 post
Streaming-Antworten sind eine UX-Entscheidung, keine Performance-Entscheidung
Streaming ist eine UX-Entscheidung über Time to First Token, kein Geschwindigkeits-Fix. Es kann strukturierte Ausgabe und Tool-Use sogar verschlechtern.