Streaming
Filed under
2 posts
One Door to the Models, Μέρος 3: Το Provider Abstraction και το Streaming
Με stream: true η μέτρηση tokens γίνεται εκτίμηση. Με WebSocket το load balancing παύει να υπάρχει. Το Μέρος 3 αντιστοιχίζει εγγυήσεις σε transports.
Οι Streaming Απαντήσεις Είναι Απόφαση UX, Όχι Απόδοσης
Το streaming απαντήσεων είναι επιλογή UX για τον χρόνο πρώτου token, όχι διόρθωση ταχύτητας. Μπορεί να χειροτερέψει structured output και χρήση εργαλείων.