UX

스트리밍 응답은 성능이 아니라 UX 결정이다

모델 응답을 스트리밍하는 것은 첫 토큰까지의 시간에 관한 사용자 경험 선택이지, 속도를 고치는 방법이 아니다. 때로는 구조화된 출력과 도구 사용을 더 나쁘게 만든다.