AI, LLMs, and applied ML.
Σημειώσεις πεδίου ανώτερου μηχανικού για AI, LLMs, πράκτορες και εφαρμοσμένη μηχανική μάθηση από τον Ercan Ermis.
All posts
Επιλέξτε Vector Database με Βάση το τι Σπάει Πρώτο
Σχεδόν κάθε σύστημα RAG πρέπει να ξεκινά με pgvector. Το χρήσιμο ερώτημα δεν είναι ποια vector database είναι ταχύτερη, αλλά ποια αστοχία σε βρίσκει πρώτη.
One Door to the Models, Μέρος 10: Observability, Διακυβέρνηση, και οι Αριθμοί
Η καταγραφή των prompts κάνει το gateway επεξεργαστή όσων πληκτρολόγησαν οι χρήστες. Το Μέρος 10 κλείνει τη σειρά: traces, evals, διακυβέρνηση, scorecard.
One Door to the Models, Μέρος 9: Eval Gates και Απόσυρση Μοντέλων
Ένα approval που λήγει μαρκάρει το stage ως skipped, όχι failed. Το Μέρος 9 κάνει το eval πραγματικό gate και την απόσυρση μοντέλου ένα query, όχι ένα project.
One Door to the Models, Μέρος 8: Orchestration Πάνω από το Gateway
Ένα orchestration framework που κάνει retry και reroute ανταγωνίζεται το gateway. Το Μέρος 8 κρατά το framework λεπτό και βάζει τα tools στην ίδια ταυτότητα.
One Door to the Models, Μέρος 7: Azure AI Search ή μια Vector Database
Το Azure AI Search χρεώνει ανά SKU, όχι ανά vectors, και το vector index περιορίζεται από τη μνήμη του tier. Το Μέρος 7 κρίνει το retrieval με βάση τα όρια.
One Door to the Models, Μέρος 6: Semantic Caching και οι Τρόποι Αποτυχίας του
Ένα semantic cache είναι επιφάνεια ορθότητας, όχι απλώς μοχλός κόστους. Το Μέρος 6 ρυθμίζει το threshold, απομονώνει tenants, και αντέχει τη μέρα χωρίς cache.
One Door to the Models, Μέρος 5: Ταυτότητα, Quota, και Chargeback
Πέντε custom dimensions ανά metric, και τα time series πολλαπλασιάζονται. Το Μέρος 5 χτίζει ταυτότητα tenant, quota, και chargeback που αντέχει το cardinality.
One Door to the Models, Μέρος 4: Ασύγχρονη Δουλειά Εκτός του Request Path
Το batch inference είναι δεύτερη πόρτα: αρχείο μπαίνει, job τρέχει, αρχείο βγαίνει, χωρίς πολιτική gateway στο μονοπάτι. Το Μέρος 4 κρατά τη λογιστική τίμια.
One Door to the Models, Μέρος 3: Το Provider Abstraction και το Streaming
Με stream: true η μέτρηση tokens γίνεται εκτίμηση. Με WebSocket το load balancing παύει να υπάρχει. Το Μέρος 3 αντιστοιχίζει εγγυήσεις σε transports.
Enterprise MCP Auth: Οι agents αποκτούν επιτέλους service accounts
Το SEP-1046 δίνει στους αυτόνομους agents πραγματικό OAuth στο MCP: client_credentials με private_key_jwt. Τι λύνει, τι μένει ανοιχτό, πώς το υιοθετείτε.
Περισσότερα από τον Ercan
Δύο ακόμη ιστότοποι, ίδιος συγγραφέας, διαφορετικό έδαφος.
Cloud, AWS, EKS, Terraform, platform engineering.
Σημειώσεις πεδίου από συστήματα παραγωγής. EKS, IAM, Terraform σε κλίμακα οργανισμού, observability, βελτιστοποίηση κόστους.
Επισκεφθείτε ercan.cloud →Ο κόμβος. Σχετικά, συμβουλευτική, επικοινωνία.
Προσωπικός κόμβος και για τις δύο διαδρομές γραφής. Ποιος είμαι, πώς λειτουργεί η συμβουλευτική, πώς να επικοινωνήσετε.
Επισκεφθείτε ercanermis.com →