A inferência cross-region do Amazon Bedrock dá a você maior vazão efetiva e menos erros de throttling regional sem sobretaxa de roteamento, o que é quase resiliência de graça. A armadilha é que um perfil de inferência global pode enviar seu prompt para qualquer região que tenha capacidade, e se esse prompt carrega dados regulados, "onde quer que haja capacidade" não é uma resposta que sua equipe de compliance vai aceitar. O recurso é genuinamente útil. Se é uma vitória ou uma violação depende inteiramente de qual tipo de perfil de inferência você escolhe, e essa escolha é fácil de fazer sem ler o que ela significa.

O apelo é real. Uma chamada de modelo de região única é limitada pela capacidade daquela região e por seus limites de throttling por região. A inferência cross-region permite que o Bedrock distribua requisições entre regiões, então um pico que teria lançado erros de throttling em uma região é absorvido. Você ganha melhor latência de cauda e menos 429s sem pagar um prêmio pelo roteamento em si. A questão não é se isso ajuda. É para onde seus dados têm permissão de ir enquanto isso ajuda.

Dois perfis, duas promessas muito diferentes

O Bedrock oferece dois sabores de inferência cross-region, e a diferença entre eles é o artigo inteiro:

  • Perfil geográfico. O roteamento é confinado a uma geografia nomeada, como US ou EU. O Bedrock escolhe a melhor região dentro daquela fronteira, então um perfil geográfico de EU mantém o processamento dentro de regiões da UE. Esse é o que você escolhe quando tem exigências de residência de dados.
  • Perfil global. O roteamento não é restrito, para máxima vazão e eficiência de custo. O Bedrock envia a requisição para a melhor região comercial disponível em qualquer lugar. Esse é o que pode mover o prompt de um usuário europeu para uma região fora da Europa.

Ambos melhoram a resiliência. Só um respeita uma fronteira geográfica. Escolher o perfil global porque ele anuncia a melhor vazão, sem checar quais dados fluem por ele, é como uma otimização de vazão vira um incidente de residência.

Residência é sobre o prompt, não só sobre o armazenamento

Times que mantêm cuidadosamente seu banco de dados na UE às vezes esquecem que uma chamada de inferência também transporta dados. O prompt é dado. Se ele contém dados pessoais, registros de clientes, ou qualquer coisa que uma regulamentação prende a uma geografia, então a região que processa esse prompt está dentro do escopo de residência, exatamente como a região que o armazena. Um perfil global que retransmite esse prompt para outro continente para processamento moveu dados regulados através de uma fronteira, mesmo que nada tenha sido "armazenado" ali. A questão de residência segue o dado através da inferência, não só até o banco de dados.

Como decidir, por carga de trabalho

Isso não é uma configuração única para a conta inteira. É uma decisão por carga de trabalho, e a pergunta decisiva é o que o prompt carrega:

Does the prompt contain data bound to a geography?
  yes -> geographic profile, matched to the required region
         (accept the capacity ceiling of that geography)
  no  -> global profile is fine
         (take the throughput and resilience, no residency risk)

Uma carga de trabalho processando dados europeus regulados usa um perfil geográfico de UE e convive com o teto de capacidade daquela geografia, porque a alternativa é não conformidade por mais rápida que seja. Uma carga de trabalho com dados não sensíveis, ferramentas internas, conteúdo público, prompts sintéticos, pode usar o perfil global e aproveitar a resiliência sem nenhum risco. O preço é calculado a partir da região de onde você chama em ambos os casos, então essa é uma decisão de compliance, não de custo.

A conclusão

Inferência cross-region é resiliência barata quando você combina o perfil com o dado. Um perfil geográfico mantém o processamento dentro de uma fronteira e é o padrão correto para qualquer coisa que toque dados regulados, ao custo do teto de capacidade daquela geografia. Um perfil global dá a melhor vazão e serve bem para dados sem restrição de residência. A armadilha não é o recurso, é escolher o perfil global por reflexo porque parece mais rápido, e descobrir depois que "a melhor região disponível" retransmitiu silenciosamente prompts regulados através de uma fronteira. Decida por carga de trabalho, e deixe o que o prompt carrega escolher o perfil.

Leia isso a seguir

Para o playbook de arquitetura multi-região e residência de dados na AWS, as notas de campo sobre cloud estão em ercan.cloud, e o hub está em ercanermis.com.