Rag
Filed under
Vektordatenbanken wählt man nach dem, was zuerst bricht
Fast jedes RAG-System sollte mit pgvector starten. Die Frage ist nicht, welche Vektordatenbank am schnellsten ist, sondern welcher Fehlermodus zuerst kommt.
One Door to the Models, Teil 7: Azure AI Search oder eine Vektordatenbank
Azure AI Search skaliert nach SKU, nicht nach Vektoren; der vector index ist vom Tier-Memory begrenzt. Teil 7 entscheidet Retrieval über Limits statt Features.
Prompt Injection über die eigene Doku: Die RAG-Angriffsfläche
Ihre Wissensdatenbank ist nicht vertrauenswürdig. Retrieval liefert dem Modell von Angreifern verfassten Text, daher lohnt sich Scannen beim Ingest.
Das Kontextfenster ist nicht dein Freund
Ein riesiges Kontextfenster ersetzt kein Retrieval: Die Trefferquote sinkt mit wachsendem Prompt, jeder Token kostet, und die Mitte wird nur überflogen.
Agentic RAG ist meistens Latenz, die man nicht braucht
Agentic RAG durchläuft Retrieval-Hops, jeder ein Modell-Roundtrip. Bei den meisten Fragen gewinnt eine gute Query, die Schleife lohnt sich selten.
Hör auf mit Fine-Tuning. Du brauchst RAG, einen Cache und bessere Prompts
Fine-Tuning plus Provisioned Throughput ist die teure Antwort auf die meisten LLM-Probleme. Günstiger sind Retrieval, Prompt Caching und bessere Prompts.
Knowledge-Base-Chunking ist der Ort, an dem deine RAG-Qualität stirbt
Schlechte RAG-Antworten sind meist ein Retrieval-, kein Modellproblem. Fixed-, Semantic- und Hierarchical-Chunking in Knowledge Bases legen die Qualität fest.