Websockets

モデルへの扉はひとつに。第3回 プロバイダー抽象化とstreaming

stream: trueにした瞬間、トークン計測は推定になる。WebSocketではload balancingが消える。第3回は保証とトランスポートの対応を描く。