Streaming
Filed under
2 posts
One Door to the Models, Parte 3: L'Astrazione dei Provider e lo Streaming
Con stream impostato a true il conteggio dei token diventa stima. Con un WebSocket il load balancing smette di esistere. La Parte 3 mappa garanzie e trasporti.
Le Risposte in Streaming Sono una Decisione UX, Non di Performance
Lo streaming delle risposte è una scelta UX sul time to first token, non una correzione di velocità. A volte peggiora output strutturati e uso dei tool.