One Door to the Models
Ένα ημερολόγιο κατασκευής στο Azure σε δέκα μέρη
Πέντε απευθείας ενσωματώσεις μοντέλων, ένα gateway με διακυβέρνηση στο Azure.
10 μέρη
One Door to the Models, Μέρος 1: Τα επιχειρήματα για ένα κεντρικό LLM Gateway
Μια εταιρεία τρέχει πέντε εφαρμογές GenAI και δεν ξέρει τι κοστίζει καθεμία. Μέρος 1: το σενάριο, build ή buy στο Azure, και το gateway που χτίζει αυτή η σειρά.
One Door to the Models, Μέρος 2: Terraform, Bicep ή ARM
Το Bicep δεν έχει state file και δεν αγγίζει το Entra ID. Το Μέρος 2 διαλέγει το επίπεδο IaC για το gateway και βρίσκει το default που μετακινεί το production.
One Door to the Models, Μέρος 3: Το Provider Abstraction και το Streaming
Με stream: true η μέτρηση tokens γίνεται εκτίμηση. Με WebSocket το load balancing παύει να υπάρχει. Το Μέρος 3 αντιστοιχίζει εγγυήσεις σε transports.
One Door to the Models, Μέρος 4: Ασύγχρονη Δουλειά Εκτός του Request Path
Το batch inference είναι δεύτερη πόρτα: αρχείο μπαίνει, job τρέχει, αρχείο βγαίνει, χωρίς πολιτική gateway στο μονοπάτι. Το Μέρος 4 κρατά τη λογιστική τίμια.
One Door to the Models, Μέρος 5: Ταυτότητα, Quota, και Chargeback
Πέντε custom dimensions ανά metric, και τα time series πολλαπλασιάζονται. Το Μέρος 5 χτίζει ταυτότητα tenant, quota, και chargeback που αντέχει το cardinality.
One Door to the Models, Μέρος 6: Semantic Caching και οι Τρόποι Αποτυχίας του
Ένα semantic cache είναι επιφάνεια ορθότητας, όχι απλώς μοχλός κόστους. Το Μέρος 6 ρυθμίζει το threshold, απομονώνει tenants, και αντέχει τη μέρα χωρίς cache.
One Door to the Models, Μέρος 7: Azure AI Search ή μια Vector Database
Το Azure AI Search χρεώνει ανά SKU, όχι ανά vectors, και το vector index περιορίζεται από τη μνήμη του tier. Το Μέρος 7 κρίνει το retrieval με βάση τα όρια.
One Door to the Models, Μέρος 8: Orchestration Πάνω από το Gateway
Ένα orchestration framework που κάνει retry και reroute ανταγωνίζεται το gateway. Το Μέρος 8 κρατά το framework λεπτό και βάζει τα tools στην ίδια ταυτότητα.
One Door to the Models, Μέρος 9: Eval Gates και Απόσυρση Μοντέλων
Ένα approval που λήγει μαρκάρει το stage ως skipped, όχι failed. Το Μέρος 9 κάνει το eval πραγματικό gate και την απόσυρση μοντέλου ένα query, όχι ένα project.
One Door to the Models, Μέρος 10: Observability, Διακυβέρνηση, και οι Αριθμοί
Η καταγραφή των prompts κάνει το gateway επεξεργαστή όσων πληκτρολόγησαν οι χρήστες. Το Μέρος 10 κλείνει τη σειρά: traces, evals, διακυβέρνηση, scorecard.