Το Amazon Bedrock cross-region inference σου δίνει υψηλότερο πραγματικό throughput και λιγότερα regional σφάλματα throttling χωρίς επιπλέον χρέωση δρομολόγησης, κάτι που είναι σχεδόν δωρεάν ανθεκτικότητα. Η παγίδα είναι ότι ένα global inference profile μπορεί να στείλει το prompt σου σε όποια περιοχή έχει χωρητικότητα, και αν αυτό το prompt κουβαλάει ρυθμιζόμενα δεδομένα, το «όπου υπάρχει χωρητικότητα» δεν είναι απάντηση που θα δεχτεί η ομάδα συμμόρφωσής σου. Το χαρακτηριστικό είναι πραγματικά χρήσιμο. Το αν είναι νίκη ή παραβίαση εξαρτάται εξ ολοκλήρου από το ποιο είδος inference profile επιλέγεις, και αυτή η επιλογή είναι εύκολο να γίνει χωρίς να διαβάσεις τι σημαίνει.

Η ελκυστικότητα είναι πραγματική. Μια κλήση μοντέλου σε μία περιοχή περιορίζεται από τη χωρητικότητα εκείνης της περιοχής και τα όριά της throttling ανά περιοχή. Το cross-region inference επιτρέπει στο Bedrock να διασκορπίζει requests σε περιοχές, ώστε μια αιχμή που θα προκαλούσε σφάλματα throttling σε μία περιοχή να απορροφάται. Παίρνεις καλύτερη ουραία καθυστέρηση και λιγότερα 429 χωρίς να πληρώνεις premium για την ίδια τη δρομολόγηση. Το ερώτημα δεν είναι αν αυτό βοηθάει. Είναι πού επιτρέπεται να πάνε τα δεδομένα σου ενώ βοηθάει.

Δύο profiles, δύο πολύ διαφορετικές υποσχέσεις

Το Bedrock σου δίνει δύο γεύσεις cross-region inference, και το χάσμα μεταξύ τους είναι όλο το άρθρο:

  • Γεωγραφικό profile. Η δρομολόγηση περιορίζεται σε μια ονομασμένη γεωγραφία, όπως ΗΠΑ ή ΕΕ. Το Bedrock επιλέγει την καλύτερη περιοχή μέσα σε αυτό το όριο, οπότε ένα γεωγραφικό profile ΕΕ κρατά την επεξεργασία μέσα σε περιοχές ΕΕ. Αυτό επιλέγεις όταν έχεις απαιτήσεις κατοικίας δεδομένων.
  • Global profile. Η δρομολόγηση είναι απεριόριστη για μέγιστο throughput και αποδοτικότητα κόστους. Το Bedrock στέλνει το request στην καλύτερη διαθέσιμη εμπορική περιοχή οπουδήποτε. Αυτό μπορεί να μετακινήσει το prompt ενός Ευρωπαίου χρήστη σε περιοχή εκτός Ευρώπης.

Και τα δύο βελτιώνουν την ανθεκτικότητα. Μόνο το ένα σέβεται ένα γεωγραφικό όριο. Το να επιλέγεις το global profile επειδή διαφημίζει το καλύτερο throughput, χωρίς να ελέγξεις τι δεδομένα το διαπερνούν, είναι πώς μια βελτιστοποίηση throughput γίνεται περιστατικό κατοικίας δεδομένων.

Η κατοικία δεδομένων αφορά το prompt, όχι μόνο την αποθήκη

Ομάδες που φροντίζουν προσεκτικά να κρατούν τη βάση δεδομένων τους στην ΕΕ μερικές φορές ξεχνούν ότι μια κλήση inference στέλνει επίσης δεδομένα. Το prompt είναι δεδομένα. Αν περιέχει προσωπικά δεδομένα, αρχεία πελατών, ή οτιδήποτε μια ρύθμιση καρφώνει σε μια γεωγραφία, τότε η περιοχή που επεξεργάζεται εκείνο το prompt εμπίπτει στο πεδίο κατοικίας δεδομένων, ακριβώς όπως η περιοχή που το αποθηκεύει. Ένα global profile που αναμεταδίδει εκείνο το prompt σε άλλη ήπειρο για επεξεργασία έχει μετακινήσει ρυθμιζόμενα δεδομένα πέρα από ένα σύνορο, ακόμα κι αν τίποτα δεν «αποθηκεύτηκε» εκεί. Το ερώτημα κατοικίας ακολουθεί τα δεδομένα μέσα από το inference, όχι μόνο μέσα στη βάση δεδομένων.

Πώς να αποφασίσεις, ανά φόρτο εργασίας

Αυτό δεν είναι μία ρύθμιση για ολόκληρο τον λογαριασμό. Είναι μια απόφαση ανά φόρτο εργασίας, και το καθοριστικό ερώτημα είναι τι κουβαλάει το prompt:

Does the prompt contain data bound to a geography?
  yes -> geographic profile, matched to the required region
         (accept the capacity ceiling of that geography)
  no  -> global profile is fine
         (take the throughput and resilience, no residency risk)

Ένας φόρτος εργασίας που επεξεργάζεται ρυθμιζόμενα ευρωπαϊκά δεδομένα χρησιμοποιεί ένα γεωγραφικό profile ΕΕ και ζει με τον περιορισμό στη χωρητικότητα ΕΕ, γιατί η εναλλακτική είναι μη συμμόρφωση όσο γρήγορη κι αν είναι. Ένας φόρτος εργασίας σε μη ευαίσθητα δεδομένα, εσωτερικά εργαλεία, δημόσιο περιεχόμενο, συνθετικά prompts, μπορεί να πάρει το global profile και να απολαύσει την ανθεκτικότητα χωρίς κανένα ρίσκο. Η τιμολόγηση υπολογίζεται από την περιοχή που καλείς σε κάθε περίπτωση, οπότε αυτή είναι απόφαση συμμόρφωσης, όχι κόστους.

Το συμπέρασμα

Το cross-region inference είναι φθηνή ανθεκτικότητα όταν ταιριάζεις το profile με τα δεδομένα. Ένα γεωγραφικό profile κρατά την επεξεργασία μέσα σε ένα όριο και είναι η σωστή προεπιλογή για οτιδήποτε αγγίζει ρυθμιζόμενα δεδομένα, με κόστος το ταβάνι χωρητικότητας εκείνης της γεωγραφίας. Ένα global profile σου δίνει το καλύτερο throughput και είναι εντάξει για δεδομένα χωρίς περιορισμό κατοικίας. Η παγίδα δεν είναι το χαρακτηριστικό, είναι το να επιλέγεις το global profile από αντανακλαστικό επειδή ακούγεται πιο γρήγορο, και να ανακαλύπτεις αργότερα ότι η «καλύτερη διαθέσιμη περιοχή» αναμετέδωσε σιωπηλά ρυθμιζόμενα prompts πέρα από ένα σύνορο. Αποφάσισε ανά φόρτο εργασίας, και άσε αυτό που κουβαλάει το prompt να επιλέξει το profile.

Διάβασε επίσης

Για το playbook αρχιτεκτονικής πολλαπλών περιοχών και κατοικίας δεδομένων σε όλο το AWS, οι σημειώσεις πεδίου για το cloud βρίσκονται στο ercan.cloud, και ο κόμβος είναι στο ercanermis.com.