AI, LLMs, and applied ML.
Ercan ErmisによるAI、LLM、エージェント、応用機械学習に関するシニアエンジニアのフィールドノート。
All posts
エージェントの前に評価を: 採点できないものはリリースできない
評価ハーネスがなければ、エージェントへの変更はすべて雰囲気チェックにすぎない。エージェントより先にスコアボードを作り、LLM-as-a-judgeを誤りうるコンポーネントとして扱うこと。
セマンティックキャッシュ: 2つの異なる質問に1つの答え
セマンティックキャッシュは表現の異なる2つの質問に1つの保存済み回答を返す。コストとレイテンシを削減するが、誤ヒットは自信満々に間違った返答を出す。
Step Functionsは最も過小評価されているエージェントオーケストレーター
多くのエージェントワークフローは制御フローの判断にモデルを必要としない。Step Functionsは決定論的なオーケストレーション、リトライ、人間の承認ステートを提供する。
LLMゲートウェイ: すべてのプラットフォームチームがいずれ構築する理由
2つ目のチームがモデルを呼び出し始めると、統制なきファンアウトが始まる。LLMゲートウェイは認証、クォータ、ルーティング、監査を一元化する。自前構築かLiteLLMかAPI Gatewayか。
AWS月報 (2026年4月): OpenAIがBedrockに上陸
2026年4月のAWS: OpenAIのモデル、Codex、Managed AgentsがBedrockに登場し、AgentCoreはマネージドハーネスとCLIを追加してエージェントへの道のりを短くした。
クロスリージョン推論: 安価な耐障害性か、それともデータレジデンシーの罠か
Bedrockのクロスリージョン推論はスループットとスロットリングを平準化する。だがグローバルプロファイルはプロンプトをその地理的範囲の外にルーティングしうる。まずレジデンシーを確認しよう。
あなたのLLM請求額はオブザーバビリティの問題だ
驚くようなBedrockの請求額は価格の問題ではなく可視性の問題だ。トークンを機能やテナント、エージェントに紐付けられなければ、それを管理することはできない。
Bedrockのバッチ推論: 待てるなら半額
Amazon Bedrockのバッチ推論はオンデマンド価格の50%で実行される。コストはレイテンシだけだ。誰も待っていないジョブなら、その取引は言わば無料のお金だ。
マルチテナントLLMアプリ: 共有モデル上で顧客を分離する
1つの共有Bedrockモデルを多くの顧客が使う。モデルはステートレスなので、分離は自分の仕事だ。検索範囲を絞り、クォータを上限で管理し、テナントごとにアイデンティティを運ぶ。
エージェントのメモリはプロンプトの問題ではなくデータベースの問題だ
エージェントの全履歴をプロンプトに詰め込むのはメモリではなく、膨らみ続ける請求額とトークンの上限だ。本物のメモリは検索ステップを持つデータベースである。
Ercan の他のサイト
同じ著者、別の領域のサイトが2つ。