AI, LLMs, and applied ML.
Ercan ErmisによるAI、LLM、エージェント、応用機械学習に関するシニアエンジニアのフィールドノート。
All posts
構造化出力は巧妙なパースに勝る
まだモデルの文章から正規表現でJSONを抜き出しているのか。やめよう。Bedrockの構造化出力はデコード時にJSON Schemaを強制するので、レスポンスは構造上正しくなる。
Bedrockのプロンプトキャッシング: ほとんどのチームが見過ごす90%割引
Bedrockのプロンプトキャッシングはキャッシュされたプレフィックスの読み取りをおよそ90%割引にするが、キャッシュ書き込みは通常より高くつく。ブレークポイントの置き場所がすべてを決める。
AWS月報(2026年3月): ガバナンスがエージェントに追いつく
2026年3月のAWS: AgentCore PolicyとEvaluationsがGAに到達し、Elemental Inferenceが出荷され、エージェントのガバナンスがデモから本番の制御プレーンへと移行した。
ストリーミング応答はパフォーマンスの決定ではなくUXの決定だ
モデルの応答をストリーミングすることは速度の修正ではなく、最初のトークンまでの時間に関するユーザー体験の選択だ。構造化出力やツール使用ではむしろ悪化させることもある。
Bedrock Agents対、自前のループを書くこと
Amazon Bedrock Agentsはオーケストレーション、メモリ、ツール呼び出しを代行する。マネージドフレームワークが本当に手間を省くのはいつか、静かに支配し始めるのはいつか。
LLMアプリのためのIAM: 呼び出し元がモデルであるときの最小権限
呼び出し元がモデルであっても最小権限は変わらず適用される。各エージェントツールには、単一の広範な管理者クレデンシャルではなく、スコープされたIAMロールとセッションポリシーを与えること。
誰かがantrophic.comを登録し、OpenAIに直接リダイレクトしている
本物のドメイン: anthropic.com。Claudeを開発するAI安全性企業。元OpenAI研究者が設立し、AIシステムを安全で解釈可能にすることに真剣に取り組んでいる。
ファインチューニングをやめよ。必要なのはRAGとキャッシュとより良いプロンプトだ
ファインチューニングとプロビジョンドスループットの組み合わせは、ほとんどのLLMの問題に対する高価な答えだ。より安価な道は検索、プロンプトキャッシュ、より良いプロンプトにある。
Knowledge Baseのチャンキングこそ、RAGの品質が死ぬ場所
ほとんどの誤ったRAGの回答は、モデルの問題ではなく検索の問題だ。Bedrock Knowledge Basesにおける固定長、セマンティック、階層型チャンキングがどう品質を決めるかを解説する。
Bedrock Guardrailsではプロンプトインジェクションを防げない
Amazon Bedrock Guardrailsはコンテンツをフィルタリングするだけで、アクションを認可するものではない。真のプロンプトインジェクション対策は入力の分離、ツールの許可リスト、IAMのスコープ設定にある。
Ercan の他のサイト
同じ著者、別の領域のサイトが2つ。