Azure
Filed under
One Door to the Models, Μέρος 10: Observability, Διακυβέρνηση, και οι Αριθμοί
Η καταγραφή των prompts κάνει το gateway επεξεργαστή όσων πληκτρολόγησαν οι χρήστες. Το Μέρος 10 κλείνει τη σειρά: traces, evals, διακυβέρνηση, scorecard.
One Door to the Models, Μέρος 9: Eval Gates και Απόσυρση Μοντέλων
Ένα approval που λήγει μαρκάρει το stage ως skipped, όχι failed. Το Μέρος 9 κάνει το eval πραγματικό gate και την απόσυρση μοντέλου ένα query, όχι ένα project.
One Door to the Models, Μέρος 8: Orchestration Πάνω από το Gateway
Ένα orchestration framework που κάνει retry και reroute ανταγωνίζεται το gateway. Το Μέρος 8 κρατά το framework λεπτό και βάζει τα tools στην ίδια ταυτότητα.
One Door to the Models, Μέρος 7: Azure AI Search ή μια Vector Database
Το Azure AI Search χρεώνει ανά SKU, όχι ανά vectors, και το vector index περιορίζεται από τη μνήμη του tier. Το Μέρος 7 κρίνει το retrieval με βάση τα όρια.
One Door to the Models, Μέρος 6: Semantic Caching και οι Τρόποι Αποτυχίας του
Ένα semantic cache είναι επιφάνεια ορθότητας, όχι απλώς μοχλός κόστους. Το Μέρος 6 ρυθμίζει το threshold, απομονώνει tenants, και αντέχει τη μέρα χωρίς cache.
One Door to the Models, Μέρος 5: Ταυτότητα, Quota, και Chargeback
Πέντε custom dimensions ανά metric, και τα time series πολλαπλασιάζονται. Το Μέρος 5 χτίζει ταυτότητα tenant, quota, και chargeback που αντέχει το cardinality.
One Door to the Models, Μέρος 4: Ασύγχρονη Δουλειά Εκτός του Request Path
Το batch inference είναι δεύτερη πόρτα: αρχείο μπαίνει, job τρέχει, αρχείο βγαίνει, χωρίς πολιτική gateway στο μονοπάτι. Το Μέρος 4 κρατά τη λογιστική τίμια.
One Door to the Models, Μέρος 3: Το Provider Abstraction και το Streaming
Με stream: true η μέτρηση tokens γίνεται εκτίμηση. Με WebSocket το load balancing παύει να υπάρχει. Το Μέρος 3 αντιστοιχίζει εγγυήσεις σε transports.
One Door to the Models, Μέρος 2: Terraform, Bicep ή ARM
Το Bicep δεν έχει state file και δεν αγγίζει το Entra ID. Το Μέρος 2 διαλέγει το επίπεδο IaC για το gateway και βρίσκει το default που μετακινεί το production.
One Door to the Models, Μέρος 1: Τα επιχειρήματα για ένα κεντρικό LLM Gateway
Μια εταιρεία τρέχει πέντε εφαρμογές GenAI και δεν ξέρει τι κοστίζει καθεμία. Μέρος 1: το σενάριο, build ή buy στο Azure, και το gateway που χτίζει αυτή η σειρά.