UX

ストリーミング応答はパフォーマンスの決定ではなくUXの決定だ

モデルの応答をストリーミングすることは速度の修正ではなく、最初のトークンまでの時間に関するユーザー体験の選択だ。構造化出力やツール使用ではむしろ悪化させることもある。