RAG
Filed under
Prompt Injection Μέσω των Δικών σου Εγγράφων: Η Επιφάνεια Επίθεσης του RAG
Η βάση γνώσης σου είναι μη έμπιστη είσοδος. Η ανάκτηση δίνει στο μοντέλο κείμενο του επιτιθέμενου, οπότε ο έλεγχος που αποδίδει είναι η σάρωση στην πρόσληψη.
Το Context Window Δεν Είναι Φίλος Σου
Ένα τεράστιο context window δεν αντικαθιστά το retrieval. Η ανάκληση υποβαθμίζεται όσο μεγαλώνει το prompt, και το κόστος κλιμακώνεται με κάθε token.
Το Agentic RAG Είναι Ως Επί Το Πλείστον Latency Που Δεν Χρειάζεσαι
Το agentic RAG κάνει loop μέσα από hops ανάκτησης, καθένα round trip μοντέλου. Συνήθως κερδίζει ένα καλό query. Χρησιμοποίησε loop μόνο όταν αξίζει το latency.
Σταμάτα το Fine-Tuning. Χρειάζεσαι RAG, Cache και Καλύτερα Prompts
Το fine-tuning με provisioned throughput είναι η ακριβή απάντηση σε προβλήματα LLM. Ο φθηνότερος δρόμος: retrieval, prompt caching και καλύτερα prompts.
Το Chunking της Knowledge Base Είναι Εκεί Που Πεθαίνει η Ποιότητα του RAG Σου
Οι περισσότερες κακές απαντήσεις RAG είναι πρόβλημα ανάκτησης, όχι μοντέλου. Το fixed, semantic και hierarchical chunking καθορίζουν την ποιότητά σου.