Rag
Filed under
Επιλέξτε Vector Database με Βάση το τι Σπάει Πρώτο
Σχεδόν κάθε σύστημα RAG πρέπει να ξεκινά με pgvector. Το χρήσιμο ερώτημα δεν είναι ποια vector database είναι ταχύτερη, αλλά ποια αστοχία σε βρίσκει πρώτη.
One Door to the Models, Μέρος 7: Azure AI Search ή μια Vector Database
Το Azure AI Search χρεώνει ανά SKU, όχι ανά vectors, και το vector index περιορίζεται από τη μνήμη του tier. Το Μέρος 7 κρίνει το retrieval με βάση τα όρια.
Prompt Injection Μέσω των Δικών σου Εγγράφων: Η Επιφάνεια Επίθεσης του RAG
Η βάση γνώσης σου είναι μη έμπιστη είσοδος. Η ανάκτηση δίνει στο μοντέλο κείμενο του επιτιθέμενου, οπότε ο έλεγχος που αποδίδει είναι η σάρωση στην πρόσληψη.
Το Context Window Δεν Είναι Φίλος Σου
Ένα τεράστιο context window δεν αντικαθιστά το retrieval. Η ανάκληση υποβαθμίζεται όσο μεγαλώνει το prompt, και το κόστος κλιμακώνεται με κάθε token.
Το Agentic RAG Είναι Ως Επί Το Πλείστον Latency Που Δεν Χρειάζεσαι
Το agentic RAG κάνει loop μέσα από hops ανάκτησης, καθένα round trip μοντέλου. Συνήθως κερδίζει ένα καλό query. Χρησιμοποίησε loop μόνο όταν αξίζει το latency.
Σταμάτα το Fine-Tuning. Χρειάζεσαι RAG, Cache και Καλύτερα Prompts
Το fine-tuning με provisioned throughput είναι η ακριβή απάντηση σε προβλήματα LLM. Ο φθηνότερος δρόμος: retrieval, prompt caching και καλύτερα prompts.
Το Chunking της Knowledge Base Είναι Εκεί Που Πεθαίνει η Ποιότητα του RAG Σου
Οι περισσότερες κακές απαντήσεις RAG είναι πρόβλημα ανάκτησης, όχι μοντέλου. Το fixed, semantic και hierarchical chunking καθορίζουν την ποιότητά σου.