Cost Optimization
Filed under
5 posts
推論プロファイルによるアプリ単位のBedrockコスト追跡
アプリケーション推論プロファイルはBedrock呼び出しにコスト配分タグを付与し、共有された請求をチーム別の明細へと変える。難しいのはタグ設計の方だ。
あなたのLLM請求額はオブザーバビリティの問題だ
驚くようなBedrockの請求額は価格の問題ではなく可視性の問題だ。トークンを機能やテナント、エージェントに紐付けられなければ、それを管理することはできない。
Bedrockのバッチ推論: 待てるなら半額
Amazon Bedrockのバッチ推論はオンデマンド価格の50%で実行される。コストはレイテンシだけだ。誰も待っていないジョブなら、その取引は言わば無料のお金だ。
Bedrockのプロンプトキャッシング: ほとんどのチームが見過ごす90%割引
Bedrockのプロンプトキャッシングはキャッシュされたプレフィックスの読み取りをおよそ90%割引にするが、キャッシュ書き込みは通常より高くつく。ブレークポイントの置き場所がすべてを決める。
ファインチューニングをやめよ。必要なのはRAGとキャッシュとより良いプロンプトだ
ファインチューニングとプロビジョンドスループットの組み合わせは、ほとんどのLLMの問題に対する高価な答えだ。より安価な道は検索、プロンプトキャッシュ、より良いプロンプトにある。