Scaling
Filed under
1 post
マルチエージェントシステムの本当の限界はトークン毎分である
Amazon Bedrock は Service Quotas でモデルごとのトークン毎分クォータを公開するようになった。エージェントにとって TPM こそが本当のスケーリング上限だ。429 が始まる前に計画せよ。
Amazon Bedrock は Service Quotas でモデルごとのトークン毎分クォータを公開するようになった。エージェントにとって TPM こそが本当のスケーリング上限だ。429 が始まる前に計画せよ。