Prompt Caching
Filed under
1 post
Le Prompt Caching sur Bedrock : la remise de 90 % que la plupart des équipes ignorent
Le prompt caching Bedrock lit un préfixe répété à 90 % de réduction, mais une écriture en cache coûte plus cher qu'un appel sans cache. Le breakpoint décide.