Streaming
Filed under
2 posts
One Door to the Models, Parte 3: A Abstração de Provider e o Streaming
Com stream em true, a contagem de tokens vira estimativa. Abra um WebSocket e o load balancing deixa de existir. A Parte 3 mapeia garantias por transporte.
Respostas em Streaming São uma Decisão de UX, Não de Performance
Streaming de respostas é uma escolha de UX sobre time to first token, não correção de velocidade. Às vezes piora output estruturado e uso de ferramentas.