Prompt Caching
Filed under
1 post
Prompt Caching auf Bedrock: Der 90-Prozent-Rabatt, den die meisten Teams ignorieren
Bedrock Prompt Caching liest ein wiederholtes Präfix mit 90 Prozent Rabatt, aber ein Cache-Write kostet mehr als gar kein Caching. Der Breakpoint entscheidet.