RAG
Filed under
Injection de prompt via vos propres documents : la surface d'attaque du RAG
Votre base de connaissances est une entrée non fiable. Le retrieval transmet au modèle du texte écrit par l'attaquant, d'où l'intérêt de scanner à l'ingestion.
La fenêtre de contexte n'est pas votre amie
Une fenêtre de contexte énorme ne remplace pas la recherche documentaire. Le rappel se dégrade avec la taille du prompt et le milieu du texte est survolé.
Le RAG agentique, c'est surtout de la latence dont vous n'avez pas besoin
Le RAG agentique boucle sur des sauts de récupération, chacun un aller-retour modèle. Une bonne requête suffit souvent : réservez la boucle aux vrais cas.
Arrêtez le fine-tuning. Vous avez besoin de RAG, d'un cache et de meilleurs prompts
Fine-tuning et Provisioned Throughput coûtent cher pour la plupart des problèmes LLM. Le chemin moins cher : récupération, cache de prompt, meilleurs prompts.
Le découpage en chunks de la base de connaissances, c'est là que meurt la qualité de votre RAG
La plupart des mauvaises réponses RAG sont un problème de récupération, pas de modèle. Le découpage détermine la qualité des Bedrock Knowledge Bases.