L'inferenza cross-region di Amazon Bedrock offre un throughput effettivo più alto e meno errori di throttling regionale senza sovrapprezzo di instradamento, il che è quasi resilienza gratuita. La trappola è che un profilo di inferenza globale può inviare il tuo prompt a qualunque regione abbia capacità, e se quel prompt porta dati regolamentati, "ovunque ci sia capacità" non è una risposta che il tuo team di compliance accetterà. La funzionalità è genuinamente utile. Se sia un vantaggio o una violazione dipende interamente da quale tipo di profilo di inferenza scegli, ed è una scelta facile da fare senza leggere cosa comporta.

L'attrattiva è reale. Una chiamata al modello a regione singola è limitata dalla capacità di quella regione e dai suoi limiti di throttling per regione. L'inferenza cross-region permette a Bedrock di distribuire le richieste su più regioni, così un picco che avrebbe lanciato errori di throttling in una regione viene assorbito. Ottieni una latenza di coda migliore e meno errori 429 senza pagare un sovrapprezzo per l'instradamento stesso. La domanda non è se questo aiuti. È dove possono andare i tuoi dati mentre aiuta.

Due profili, due promesse molto diverse

Bedrock offre due varianti di inferenza cross-region, e il divario tra loro è l'intero articolo:

  • Profilo geografico. L'instradamento è confinato a una geografia nominata, come US o EU. Bedrock sceglie la regione migliore all'interno di quel confine, così un profilo geografico EU mantiene l'elaborazione dentro le regioni EU. Questo è quello da scegliere quando hai requisiti di residenza dei dati.
  • Profilo globale. L'instradamento non è vincolato per il massimo throughput ed efficienza di costo. Bedrock invia la richiesta alla migliore regione commerciale disponibile ovunque. Questo è quello che può spostare il prompt di un utente europeo verso una regione fuori dall'Europa.

Entrambi migliorano la resilienza. Solo uno rispetta un confine geografico. Scegliere il profilo globale perché pubblicizza il miglior throughput, senza controllare quali dati vi fluiscono attraverso, è come un'ottimizzazione di throughput diventa un incidente di residenza.

La residenza riguarda il prompt, non solo lo storage

I team che tengono con cura il proprio database nell'UE a volte dimenticano che anche una chiamata di inferenza spedisce dati. Il prompt è un dato. Se contiene dati personali, dati di clienti, o qualsiasi cosa che una normativa vincola a una geografia, allora la regione che elabora quel prompt rientra nell'ambito della residenza, esattamente come la regione che lo memorizza. Un profilo globale che inoltra quel prompt a un altro continente per l'elaborazione ha spostato dati regolamentati oltre un confine, anche se nulla è stato "memorizzato" lì. La questione di residenza segue i dati attraverso l'inferenza, non solo nel database.

Come decidere, per singolo workload

Non è un'unica impostazione per tutto l'account. È una decisione per singolo workload, e la domanda decisiva è cosa porta il prompt:

Does the prompt contain data bound to a geography?
  yes -> geographic profile, matched to the required region
         (accept the capacity ceiling of that geography)
  no  -> global profile is fine
         (take the throughput and resilience, no residency risk)

Un workload che elabora dati europei regolamentati usa un profilo geografico EU e convive con l'essere limitato alla capacità dell'UE, perché l'alternativa è non conforme per quanto veloce possa essere. Un workload su dati non sensibili, strumenti interni, contenuti pubblici, prompt sintetici, può usare il profilo globale e godersi la resilienza senza alcun rischio. Il pricing è calcolato in base alla regione da cui chiami in entrambi i casi, quindi questa è una decisione di compliance, non di costo.

Il punto chiave

L'inferenza cross-region è resilienza a basso costo quando fai corrispondere il profilo ai dati. Un profilo geografico mantiene l'elaborazione dentro un confine ed è la scelta predefinita corretta per tutto ciò che tocca dati regolamentati, al costo del tetto di capacità di quella geografia. Un profilo globale ti dà il miglior throughput ed è adatto a dati senza vincoli di residenza. La trappola non è la funzionalità, è scegliere il profilo globale per riflesso perché suona più veloce, e scoprire più tardi che "la migliore regione disponibile" ha silenziosamente inoltrato prompt regolamentati oltre un confine. Decidi per singolo workload, e lascia che sia ciò che il prompt porta a scegliere il profilo.

Da leggere ora

Per il playbook di architettura multi-regione e residenza dei dati su AWS, le note di campo sul cloud sono su ercan.cloud, e l'hub è su ercanermis.com.