RAG
Filed under
Prompt Injection Tramite i Tuoi Documenti: La Superficie d'Attacco RAG
La tua knowledge base è input non fidato: il retrieval consegna al modello testo scritto da un attaccante, quindi conviene scansionare in fase di ingestione.
La Finestra di Contesto Non È Tua Amica
Una finestra di contesto enorme non sostituisce il retrieval. Il recall peggiora con la lunghezza, il costo cresce a ogni token, il centro viene ignorato.
Agentic RAG È per lo Più Latenza Che Non Ti Serve
Agentic RAG passa in loop tra hop di retrieval, ognuno un round trip al modello. Per la maggior parte delle domande basta una query, usa il loop se conviene.
Smetti di Fare Fine-Tuning. Ti Servono RAG, una Cache e Prompt Migliori
Fine-tuning più provisioned throughput è la risposta costosa ai problemi con gli LLM. Il percorso economico è retrieval, prompt caching e prompt migliori.
Il Chunking della Knowledge Base È Dove Muore la Qualità del Tuo RAG
La maggior parte delle risposte RAG sbagliate è un problema di retrieval, non del modello. Il chunking nelle Knowledge Bases decide la qualità del retrieval.