Rag
Filed under
Escolha o Vector Database pelo Que Quebra Primeiro
Quase todo sistema RAG deveria começar no pgvector. A pergunta útil não é qual vector database é mais rápido, mas qual modo de falha chega até você primeiro.
One Door to the Models, Parte 7: Azure AI Search ou um Vector Database
Azure AI Search cobra capacidade por SKU, não por vetores, e o vector index é limitado pela memória do tier. A Parte 7 decide por limites, não por features.
Injeção de Prompt via Seus Próprios Documentos: A Superfície de Ataque do RAG
Sua base de conhecimento é entrada não confiável. A recuperação entrega texto de atacantes ao modelo, então o controle que compensa é escanear na ingestão.
A Janela de Contexto Não É Sua Amiga
Uma janela de contexto enorme não substitui a recuperação. A precisão cai conforme o prompt cresce, o custo escala a cada token e o meio é ignorado.
RAG Agêntico É, Na Maior Parte, Latência Que Você Não Precisa
RAG agêntico faz loop por saltos de retrieval, cada um ida e volta ao modelo. Para a maioria das perguntas, boa query basta. Use o loop só se valer a latência.
Pare de Fazer Fine-Tuning. Você Precisa de RAG, Cache e Prompts Melhores
Fine-tuning mais provisioned throughput é a resposta cara para a maioria dos problemas de LLM. O caminho barato é retrieval, prompt caching e prompts melhores.
O Chunking da Knowledge Base É Onde a Qualidade do Seu RAG Morre
A maioria das respostas ruins de RAG é problema de retrieval, não de modelo. Chunking fixo, semântico ou hierárquico nas Knowledge Bases define a qualidade.