AI, LLMs, and applied ML.
Feldnotizen eines Senior-Ingenieurs zu KI, LLMs, Agenten und angewandtem maschinellem Lernen von Ercan Ermis.
All posts
Vektordatenbanken wählt man nach dem, was zuerst bricht
Fast jedes RAG-System sollte mit pgvector starten. Die Frage ist nicht, welche Vektordatenbank am schnellsten ist, sondern welcher Fehlermodus zuerst kommt.
One Door to the Models, Teil 10: Observability, Governance und die Zahlen
Wer Prompts loggt, macht das Gateway zum Verarbeiter dessen, was Nutzer tippen. Teil 10 schließt die Serie: Traces, Evals in Produktion, Governance, Scorecard.
One Door to the Models, Teil 9: Eval Gates und Model Retirement
Ein Approval, das in den Timeout läuft, markiert die Stage als skipped, nicht als failed. Teil 9 macht das Eval zum echten Gate und Model Retirement zur Query.
One Door to the Models, Teil 8: Orchestrierung auf dem Gateway
Ein Orchestrierungs-Framework mit eigenem Retry und Failover konkurriert mit dem Gateway. Teil 8 hält es dünn und stellt Tools unter dieselbe Identität.
One Door to the Models, Teil 7: Azure AI Search oder eine Vektordatenbank
Azure AI Search skaliert nach SKU, nicht nach Vektoren; der vector index ist vom Tier-Memory begrenzt. Teil 7 entscheidet Retrieval über Limits statt Features.
One Door to the Models, Teil 6: Semantic Caching und seine Fehlerbilder
Ein semantischer Cache ist eine Korrektheitsfläche, kein reiner Kostenhebel. Teil 6 stimmt den Threshold ab, isoliert Tenants und plant den Redis-Ausfall ein.
One Door to the Models, Teil 5: Identität, Quota und Chargeback
Fünf Custom-Metric-Dimensionen, und time series multiplizieren sich. Teil 5 baut Tenant-Identität, Quota und ein Chargeback-Modell, das Kardinalität übersteht.
One Door to the Models, Teil 4: Asynchrone Arbeit abseits des Request-Pfads
Batch-Inferenz ist eine zweite Tür: Datei rein, Job läuft, Datei raus, keine Gateway-Policy dazwischen. Teil 4 hält die Abrechnung trotzdem ehrlich.
One Door to the Models, Teil 3: Die Provider-Abstraktion und Streaming
Mit stream auf true wird Token-Zählung zur Schätzung. Über WebSocket gibt es kein Load Balancing mehr. Teil 3 ordnet Garantien den Transporten zu.
Enterprise MCP Auth: Agenten bekommen endlich Dienstkonten
SEP-1046 gibt unbeaufsichtigten Agenten echtes OAuth auf MCP: client_credentials mit private_key_jwt. Was es löst, was offen bleibt, wie der Rollout läuft.
Weiteres von Ercan
Zwei weitere Seiten, gleicher Autor, anderes Terrain.
Cloud, AWS, EKS, Terraform, Platform Engineering.
Praxisnotizen aus Produktionssystemen. EKS, IAM, Terraform im Organisationsmaßstab, Observability, Kostenoptimierung.
Besuchen ercan.cloud →Die Drehscheibe. Über mich, Beratung, Kontakt.
Persönliche Drehscheibe für beide Schreibspuren. Wer ich bin, wie die Beratung funktioniert, wie Sie mich erreichen.
Besuchen ercanermis.com →