Websockets

Filed under

1 post

모델로 가는 하나의 문, 3부. Provider 추상화와 Streaming

stream을 true로 켜면 토큰 집계는 추정이 되고, WebSocket을 열면 load balancing은 사라진다. 3부는 전송 방식별 보장을 정리한다.

Jul 21, 2026 8 min