RAG
Filed under
Injeção de Prompt via Seus Próprios Documentos: A Superfície de Ataque do RAG
Sua base de conhecimento é entrada não confiável. A recuperação entrega texto de atacantes ao modelo, então o controle que compensa é escanear na ingestão.
A Janela de Contexto Não É Sua Amiga
Uma janela de contexto enorme não substitui a recuperação. A precisão cai conforme o prompt cresce, o custo escala a cada token e o meio é ignorado.
RAG Agêntico É, Na Maior Parte, Latência Que Você Não Precisa
RAG agêntico faz loop por saltos de retrieval, cada um ida e volta ao modelo. Para a maioria das perguntas, boa query basta. Use o loop só se valer a latência.
Pare de Fazer Fine-Tuning. Você Precisa de RAG, Cache e Prompts Melhores
Fine-tuning mais provisioned throughput é a resposta cara para a maioria dos problemas de LLM. O caminho barato é retrieval, prompt caching e prompts melhores.
O Chunking da Knowledge Base É Onde a Qualidade do Seu RAG Morre
A maioria das respostas ruins de RAG é problema de retrieval, não de modelo. Chunking fixo, semântico ou hierárquico nas Knowledge Bases define a qualidade.