Amazon Bedrock
Filed under
推論プロファイルによるアプリ単位のBedrockコスト追跡
アプリケーション推論プロファイルはBedrock呼び出しにコスト配分タグを付与し、共有された請求をチーム別の明細へと変える。難しいのはタグ設計の方だ。
EU AI Act、8月2日:動かなかった期限
Digital Omnibusは高リスク規制の期限を2027年と2028年に延期したが、Article 50の透明性義務は2026年8月2日のまま変わらず、多くのチームが直面するのはこちらだ。
SageMaker対Bedrock: 技術ではなく組織の意思決定
SageMakerかBedrockかという問いは、実際にはモデルを所有するチームが組織に存在するかどうかの問題だ。スライド上の組織ではなく実際のチーム構造に合わせて選ぶべきだ。
自社ドキュメント経由のプロンプトインジェクション: RAGの攻撃面
ナレッジベースは信頼できない入力源だ。検索は攻撃者が書いたテキストをそのままモデルに渡してしまうため、取り込み時点でのスキャンが最も有効な対策となる。
AWS月刊(2026年6月): エージェントにフィードバックループが備わった
2026年6月のAWS。ニューヨークのSummitは本番トレースをエージェント改善に変え、セキュリティ向けContinuumを発表し、AgentCoreハーネスをGAへ進めた。
マルチエージェントシステムの本当の限界はトークン毎分である
Amazon Bedrock は Service Quotas でモデルごとのトークン毎分クォータを公開するようになった。エージェントにとって TPM こそが本当のスケーリング上限だ。429 が始まる前に計画せよ。
コンテキストウィンドウは味方ではない
巨大なコンテキストウィンドウは検索の代わりにはならない。プロンプトが長くなるほど再現率は落ち、トークン数に比例してコストは増え、中間部分は読み飛ばされる。
AWSマンスリー（2026年5月）: エージェントに財布が渡される
2026年5月のAWS: AgentCore Paymentsでエージェントが取引可能になり、Agent Toolkit for AWSと一般提供の管理型MCPサーバーがツールチェーンを強化する。
HaikuがOpusに勝るとき: Bedrockにおけるモデルの適正サイジング
すべての呼び出しをデフォルトでOpusに向けることが、LLMの請求額を膨れ上がらせる。タスクの種類でルーティングせよ。機械的な大多数にはHaiku、Opusは難しいケース向けのエスカレーション経路にする。
エージェント型RAGの正体は、大半が不要なレイテンシである
エージェント型RAGは検索ホップをループで回し、各ホップはモデルとの往復になる。ほとんどの質問には1回の良いクエリで十分だ。ループはレイテンシに見合う場合だけ使う。
エージェントの前に評価を: 採点できないものはリリースできない
評価ハーネスがなければ、エージェントへの変更はすべて雰囲気チェックにすぎない。エージェントより先にスコアボードを作り、LLM-as-a-judgeを誤りうるコンポーネントとして扱うこと。
セマンティックキャッシュ: 2つの異なる質問に1つの答え
セマンティックキャッシュは表現の異なる2つの質問に1つの保存済み回答を返す。コストとレイテンシを削減するが、誤ヒットは自信満々に間違った返答を出す。
LLMゲートウェイ: すべてのプラットフォームチームがいずれ構築する理由
2つ目のチームがモデルを呼び出し始めると、統制なきファンアウトが始まる。LLMゲートウェイは認証、クォータ、ルーティング、監査を一元化する。自前構築かLiteLLMかAPI Gatewayか。
AWS月報 (2026年4月): OpenAIがBedrockに上陸
2026年4月のAWS: OpenAIのモデル、Codex、Managed AgentsがBedrockに登場し、AgentCoreはマネージドハーネスとCLIを追加してエージェントへの道のりを短くした。
クロスリージョン推論: 安価な耐障害性か、それともデータレジデンシーの罠か
Bedrockのクロスリージョン推論はスループットとスロットリングを平準化する。だがグローバルプロファイルはプロンプトをその地理的範囲の外にルーティングしうる。まずレジデンシーを確認しよう。
あなたのLLM請求額はオブザーバビリティの問題だ
驚くようなBedrockの請求額は価格の問題ではなく可視性の問題だ。トークンを機能やテナント、エージェントに紐付けられなければ、それを管理することはできない。
Bedrockのバッチ推論: 待てるなら半額
Amazon Bedrockのバッチ推論はオンデマンド価格の50%で実行される。コストはレイテンシだけだ。誰も待っていないジョブなら、その取引は言わば無料のお金だ。
マルチテナントLLMアプリ: 共有モデル上で顧客を分離する
1つの共有Bedrockモデルを多くの顧客が使う。モデルはステートレスなので、分離は自分の仕事だ。検索範囲を絞り、クォータを上限で管理し、テナントごとにアイデンティティを運ぶ。
構造化出力は巧妙なパースに勝る
まだモデルの文章から正規表現でJSONを抜き出しているのか。やめよう。Bedrockの構造化出力はデコード時にJSON Schemaを強制するので、レスポンスは構造上正しくなる。
Bedrockのプロンプトキャッシング: ほとんどのチームが見過ごす90%割引
Bedrockのプロンプトキャッシングはキャッシュされたプレフィックスの読み取りをおよそ90%割引にするが、キャッシュ書き込みは通常より高くつく。ブレークポイントの置き場所がすべてを決める。
AWS月報(2026年3月): ガバナンスがエージェントに追いつく
2026年3月のAWS: AgentCore PolicyとEvaluationsがGAに到達し、Elemental Inferenceが出荷され、エージェントのガバナンスがデモから本番の制御プレーンへと移行した。
ストリーミング応答はパフォーマンスの決定ではなくUXの決定だ
モデルの応答をストリーミングすることは速度の修正ではなく、最初のトークンまでの時間に関するユーザー体験の選択だ。構造化出力やツール使用ではむしろ悪化させることもある。
Bedrock Agents対、自前のループを書くこと
Amazon Bedrock Agentsはオーケストレーション、メモリ、ツール呼び出しを代行する。マネージドフレームワークが本当に手間を省くのはいつか、静かに支配し始めるのはいつか。
ファインチューニングをやめよ。必要なのはRAGとキャッシュとより良いプロンプトだ
ファインチューニングとプロビジョンドスループットの組み合わせは、ほとんどのLLMの問題に対する高価な答えだ。より安価な道は検索、プロンプトキャッシュ、より良いプロンプトにある。
Knowledge Baseのチャンキングこそ、RAGの品質が死ぬ場所
ほとんどの誤ったRAGの回答は、モデルの問題ではなく検索の問題だ。Bedrock Knowledge Basesにおける固定長、セマンティック、階層型チャンキングがどう品質を決めるかを解説する。
Bedrock Guardrailsではプロンプトインジェクションを防げない
Amazon Bedrock Guardrailsはコンテンツをフィルタリングするだけで、アクションを認可するものではない。真のプロンプトインジェクション対策は入力の分離、ツールの許可リスト、IAMのスコープ設定にある。