UX
Filed under
1 post
Le streaming des réponses est une décision d'UX, pas de performance
Diffuser les réponses en streaming est un choix UX sur le temps jusqu'au premier token, pas un correctif de vitesse. Cela peut dégrader la sortie structurée.
Diffuser les réponses en streaming est un choix UX sur le temps jusqu'au premier token, pas un correctif de vitesse. Cela peut dégrader la sortie structurée.