Api-Management
Filed under
One Door to the Models, Μέρος 8: Orchestration Πάνω από το Gateway
Ένα orchestration framework που κάνει retry και reroute ανταγωνίζεται το gateway. Το Μέρος 8 κρατά το framework λεπτό και βάζει τα tools στην ίδια ταυτότητα.
One Door to the Models, Μέρος 6: Semantic Caching και οι Τρόποι Αποτυχίας του
Ένα semantic cache είναι επιφάνεια ορθότητας, όχι απλώς μοχλός κόστους. Το Μέρος 6 ρυθμίζει το threshold, απομονώνει tenants, και αντέχει τη μέρα χωρίς cache.
One Door to the Models, Μέρος 5: Ταυτότητα, Quota, και Chargeback
Πέντε custom dimensions ανά metric, και τα time series πολλαπλασιάζονται. Το Μέρος 5 χτίζει ταυτότητα tenant, quota, και chargeback που αντέχει το cardinality.
One Door to the Models, Μέρος 3: Το Provider Abstraction και το Streaming
Με stream: true η μέτρηση tokens γίνεται εκτίμηση. Με WebSocket το load balancing παύει να υπάρχει. Το Μέρος 3 αντιστοιχίζει εγγυήσεις σε transports.
One Door to the Models, Μέρος 2: Terraform, Bicep ή ARM
Το Bicep δεν έχει state file και δεν αγγίζει το Entra ID. Το Μέρος 2 διαλέγει το επίπεδο IaC για το gateway και βρίσκει το default που μετακινεί το production.
One Door to the Models, Μέρος 1: Τα επιχειρήματα για ένα κεντρικό LLM Gateway
Μια εταιρεία τρέχει πέντε εφαρμογές GenAI και δεν ξέρει τι κοστίζει καθεμία. Μέρος 1: το σενάριο, build ή buy στο Azure, και το gateway που χτίζει αυτή η σειρά.