Prompt Caching
Filed under
1 post
Prompt Caching su Bedrock: lo sconto del 90% che quasi tutti ignorano
Il prompt caching di Bedrock legge un prefisso ripetuto con uno sconto del 90%, ma scrivere in cache costa più di una chiamata normale: decide il breakpoint.