Websockets

One Door to the Models, Μέρος 3: Το Provider Abstraction και το Streaming

Με stream: true η μέτρηση tokens γίνεται εκτίμηση. Με WebSocket το load balancing παύει να υπάρχει. Το Μέρος 3 αντιστοιχίζει εγγυήσεις σε transports.