Streaming
Filed under
2 posts
모델로 가는 하나의 문, 3부. Provider 추상화와 Streaming
stream을 true로 켜면 토큰 집계는 추정이 되고, WebSocket을 열면 load balancing은 사라진다. 3부는 전송 방식별 보장을 정리한다.
스트리밍 응답은 성능이 아니라 UX 결정이다
모델 응답을 스트리밍하는 것은 첫 토큰까지의 시간에 관한 사용자 경험 선택이지, 속도를 고치는 방법이 아니다. 때로는 구조화된 출력과 도구 사용을 더 나쁘게 만든다.