AI, LLMs, and applied ML.
Ercan ErmisによるAI、LLM、エージェント、応用機械学習に関するシニアエンジニアのフィールドノート。
All posts
オンコールをエージェントに。第8回 プロダクション:可観測性、評価、そして嘘をつく日
CloudWatchへのOTELトレース、S3へのBedrock呼び出しログ、ゴールデンインシデントセットのevalハーネス、そしてトリアージエージェントが自信満々に嘘をついた日。
Kiro、その後: AI IDEが実際に変えたもの
KiroのGAから8か月、生き残ったのはspecで、消えかけているのはIDEの方だ。変わったのはコードを書く主体ではなくレビューの場所だった。
なぜあなたのAIパイロットは調達プロセスで頓挫したのか
AIパイロットの多くは精度で失敗しない。セキュリティレビューやデータ処理契約で止まるのだ。その後に続く12週間を誰もスケジュールしていないからだ。
推論プロファイルによるアプリ単位のBedrockコスト追跡
アプリケーション推論プロファイルはBedrock呼び出しにコスト配分タグを付与し、共有された請求をチーム別の明細へと変える。難しいのはタグ設計の方だ。
オンコールをエージェントに。第7回 サイジング:誰も事前にやらないトークンの算数
誰も事前にやらないサイジングの算数。インシデントあたりのトークン、クォータの天井、Provisioned Throughputの損益分岐点、そして月額請求書を全部見せる。
EU AI Act、8月2日:動かなかった期限
Digital Omnibusは高リスク規制の期限を2027年と2028年に延期したが、Article 50の透明性義務は2026年8月2日のまま変わらず、多くのチームが直面するのはこちらだ。
SageMaker対Bedrock: 技術ではなく組織の意思決定
SageMakerかBedrockかという問いは、実際にはモデルを所有するチームが組織に存在するかどうかの問題だ。スライド上の組織ではなく実際のチーム構造に合わせて選ぶべきだ。
自社ドキュメント経由のプロンプトインジェクション: RAGの攻撃面
ナレッジベースは信頼できない入力源だ。検索は攻撃者が書いたテキストをそのままモデルに渡してしまうため、取り込み時点でのスキャンが最も有効な対策となる。
M365 Security 101: AI PilotとBusiness Impact Reports
セキュリティでAIが真価を発揮するのは検知ではなく、その下流だ。変更ごとの承認ゲート内での自動修復と、経営層がそのまま使えるAI生成レポート。Aether365を例にこの2つを解説する。
オンコールをエージェントに。第6回 Guardrails:誰もがスキップするパート
まず脅威モデル、次にガードレール。TerraformによるBedrock Guardrails、重い仕事を今も担うIAM、そしてステージで誰もデモしない失敗モードを扱う。
Ercan の他のサイト
同じ著者、別の領域のサイトが2つ。