RAG
Filed under
Prompt Injection über die eigene Doku: Die RAG-Angriffsfläche
Ihre Wissensdatenbank ist nicht vertrauenswürdig. Retrieval liefert dem Modell von Angreifern verfassten Text, daher lohnt sich Scannen beim Ingest.
Das Kontextfenster ist nicht dein Freund
Ein riesiges Kontextfenster ersetzt kein Retrieval: Die Trefferquote sinkt mit wachsendem Prompt, jeder Token kostet, und die Mitte wird nur überflogen.
Agentic RAG ist meistens Latenz, die man nicht braucht
Agentic RAG durchläuft Retrieval-Hops, jeder ein Modell-Roundtrip. Bei den meisten Fragen gewinnt eine gute Query, die Schleife lohnt sich selten.
Hör auf mit Fine-Tuning. Du brauchst RAG, einen Cache und bessere Prompts
Fine-Tuning plus Provisioned Throughput ist die teure Antwort auf die meisten LLM-Probleme. Günstiger sind Retrieval, Prompt Caching und bessere Prompts.
Knowledge-Base-Chunking ist der Ort, an dem deine RAG-Qualität stirbt
Schlechte RAG-Antworten sind meist ein Retrieval-, kein Modellproblem. Fixed-, Semantic- und Hierarchical-Chunking in Knowledge Bases legen die Qualität fest.