AI, LLMs, and applied ML.
Ercan ErmisによるAI、LLM、エージェント、応用機械学習に関するシニアエンジニアのフィールドノート。
All posts
CI上のClaude Code: エージェントにビルドを直させる
パイプラインにコーディングエージェントを組み込むのは簡単だ。難しいのはガードレール設計、触れる範囲、停止条件、提案の査読者を決めることにある。
オンコールをエージェントに。第2回 基盤編:トークンより先にTerraform
Bedrockトークンが流れる前に、ops-toolingアカウント、2つのスポークIAMロール、モデルアクセス、推論プロファイルの判断をすべてTerraformで構築する。
コンテキストウィンドウは味方ではない
巨大なコンテキストウィンドウは検索の代わりにはならない。プロンプトが長くなるほど再現率は落ち、トークン数に比例してコストは増え、中間部分は読み飛ばされる。
AWSマンスリー（2026年5月）: エージェントに財布が渡される
2026年5月のAWS: AgentCore Paymentsでエージェントが取引可能になり、Agent Toolkit for AWSと一般提供の管理型MCPサーバーがツールチェーンを強化する。
オンコールをエージェントに。第1回 シナリオ編:なぜ運用チームはエージェントを雇うのか
中堅B2B SaaS企業がオンコールの重労働に耐えかね、AIエージェント導入を決断する。舞台設定とAWS Bedrockアーキテクチャの選定理由を解説する。
PIIをログに残さずプロンプトをログに残す
LLMアプリのデバッグにはプロンプトログが必要だが、生のPIIをその中に残すことはできない。Comprehendで保存前に匿名化し、ログが期限どおり失効するよう保持期間を設定する。
HaikuがOpusに勝るとき: Bedrockにおけるモデルの適正サイジング
すべての呼び出しをデフォルトでOpusに向けることが、LLMの請求額を膨れ上がらせる。タスクの種類でルーティングせよ。機械的な大多数にはHaiku、Opusは難しいケース向けのエスカレーション経路にする。
エージェント型RAGの正体は、大半が不要なレイテンシである
エージェント型RAGは検索ホップをループで回し、各ホップはモデルとの往復になる。ほとんどの質問には1回の良いクエリで十分だ。ループはレイテンシに見合う場合だけ使う。
エージェントの前に評価を: 採点できないものはリリースできない
評価ハーネスがなければ、エージェントへの変更はすべて雰囲気チェックにすぎない。エージェントより先にスコアボードを作り、LLM-as-a-judgeを誤りうるコンポーネントとして扱うこと。
セマンティックキャッシュ: 2つの異なる質問に1つの答え
セマンティックキャッシュは表現の異なる2つの質問に1つの保存済み回答を返す。コストとレイテンシを削減するが、誤ヒットは自信満々に間違った返答を出す。
Ercan の他のサイト
同じ著者、別の領域のサイトが2つ。