Rag
Filed under
Scegli il vector database in base a cosa si rompe per primo
Quasi ogni sistema RAG dovrebbe partire da pgvector. La domanda utile non è quale vector database sia il più veloce, ma quale failure mode arriva per primo.
One Door to the Models, Parte 7: Azure AI Search o un Vector Database
Azure AI Search fattura per SKU, non per vettori; il vector index è limitato dalla memoria del tier. La Parte 7 decide il retrieval sui limiti, non le feature.
Prompt Injection Tramite i Tuoi Documenti: La Superficie d'Attacco RAG
La tua knowledge base è input non fidato: il retrieval consegna al modello testo scritto da un attaccante, quindi conviene scansionare in fase di ingestione.
La Finestra di Contesto Non È Tua Amica
Una finestra di contesto enorme non sostituisce il retrieval. Il recall peggiora con la lunghezza, il costo cresce a ogni token, il centro viene ignorato.
Agentic RAG È per lo Più Latenza Che Non Ti Serve
Agentic RAG passa in loop tra hop di retrieval, ognuno un round trip al modello. Per la maggior parte delle domande basta una query, usa il loop se conviene.
Smetti di Fare Fine-Tuning. Ti Servono RAG, una Cache e Prompt Migliori
Fine-tuning più provisioned throughput è la risposta costosa ai problemi con gli LLM. Il percorso economico è retrieval, prompt caching e prompt migliori.
Il Chunking della Knowledge Base È Dove Muore la Qualità del Tuo RAG
La maggior parte delle risposte RAG sbagliate è un problema di retrieval, non del modello. Il chunking nelle Knowledge Bases decide la qualità del retrieval.