Streaming
Filed under
2 posts
One Door to the Models, partie 3. L'abstraction de provider et le streaming
Avec stream: true, le comptage de tokens devient une estimation. En WebSocket, le load balancing disparaît. Partie 3 : les garanties par transport.
Le streaming des réponses est une décision d'UX, pas de performance
Diffuser les réponses en streaming est un choix UX sur le temps jusqu'au premier token, pas un correctif de vitesse. Cela peut dégrader la sortie structurée.