Api-Management
Filed under
One Door to the Models, Parte 8: Orquestração em Cima do Gateway
Um framework de orquestração que faz retry e reroteia compete com o gateway. A Parte 8 mantém o framework fino e põe as tools sob a mesma identidade.
One Door to the Models, Parte 6: Semantic Caching e Seus Modos de Falha
Um semantic cache é uma superfície de correção, não só uma alavanca de custo. A Parte 6 ajusta o threshold, isola tenants e trata o dia em que o cache some.
One Door to the Models, Parte 5: Identidade, Quota e Chargeback
São cinco dimensions por métrica, e as time series se multiplicam. A Parte 5 constrói identidade de tenant, quota e chargeback que sobrevive à cardinalidade.
One Door to the Models, Parte 3: A Abstração de Provider e o Streaming
Com stream em true, a contagem de tokens vira estimativa. Abra um WebSocket e o load balancing deixa de existir. A Parte 3 mapeia garantias por transporte.
One Door to the Models, Parte 2: Terraform, Bicep ou ARM
Bicep não tem state file e não toca o Entra ID. A Parte 2 escolhe a camada de IaC do gateway e o default de versão de modelo que atualiza a produção.
One Door to the Models, Parte 1: O Caso a Favor de um Gateway Central de LLM
Uma empresa roda cinco apps de GenAI e não sabe o custo de cada um. Parte 1: o cenário, construir ou comprar no Azure, e o gateway que a série constrói.