AI, LLMs, and applied ML.
Ercan ErmisによるAI、LLM、エージェント、応用機械学習に関するシニアエンジニアのフィールドノート。
All posts
Step Functionsは最も過小評価されているエージェントオーケストレーター
多くのエージェントワークフローは制御フローの判断にモデルを必要としない。Step Functionsは決定論的なオーケストレーション、リトライ、人間の承認ステートを提供する。
LLMゲートウェイ: すべてのプラットフォームチームがいずれ構築する理由
2つ目のチームがモデルを呼び出し始めると、統制なきファンアウトが始まる。LLMゲートウェイは認証、クォータ、ルーティング、監査を一元化する。自前構築かLiteLLMかAPI Gatewayか。
AWS月報 (2026年4月): OpenAIがBedrockに上陸
2026年4月のAWS: OpenAIのモデル、Codex、Managed AgentsがBedrockに登場し、AgentCoreはマネージドハーネスとCLIを追加してエージェントへの道のりを短くした。
クロスリージョン推論: 安価な耐障害性か、それともデータレジデンシーの罠か
Bedrockのクロスリージョン推論はスループットとスロットリングを平準化する。だがグローバルプロファイルはプロンプトをその地理的範囲の外にルーティングしうる。まずレジデンシーを確認しよう。
あなたのLLM請求額はオブザーバビリティの問題だ
驚くようなBedrockの請求額は価格の問題ではなく可視性の問題だ。トークンを機能やテナント、エージェントに紐付けられなければ、それを管理することはできない。
Bedrockのバッチ推論: 待てるなら半額
Amazon Bedrockのバッチ推論はオンデマンド価格の50%で実行される。コストはレイテンシだけだ。誰も待っていないジョブなら、その取引は言わば無料のお金だ。
マルチテナントLLMアプリ: 共有モデル上で顧客を分離する
1つの共有Bedrockモデルを多くの顧客が使う。モデルはステートレスなので、分離は自分の仕事だ。検索範囲を絞り、クォータを上限で管理し、テナントごとにアイデンティティを運ぶ。
エージェントのメモリはプロンプトの問題ではなくデータベースの問題だ
エージェントの全履歴をプロンプトに詰め込むのはメモリではなく、膨らみ続ける請求額とトークンの上限だ。本物のメモリは検索ステップを持つデータベースである。
構造化出力は巧妙なパースに勝る
まだモデルの文章から正規表現でJSONを抜き出しているのか。やめよう。Bedrockの構造化出力はデコード時にJSON Schemaを強制するので、レスポンスは構造上正しくなる。
Bedrockのプロンプトキャッシング: ほとんどのチームが見過ごす90%割引
Bedrockのプロンプトキャッシングはキャッシュされたプレフィックスの読み取りをおよそ90%割引にするが、キャッシュ書き込みは通常より高くつく。ブレークポイントの置き場所がすべてを決める。
Ercan の他のサイト
同じ著者、別の領域のサイトが2つ。