AI, LLMs, and applied ML.
Ercan Ermis의 AI, LLM, 에이전트 및 응용 머신러닝에 관한 시니어 엔지니어 필드 노트.
All posts
Step Functions는 가장 저평가된 에이전트 오케스트레이터다
대부분의 에이전트 워크플로는 제어 흐름을 결정할 모델이 필요 없다. Step Functions는 결정적 오케스트레이션, 재시도, 휴먼인더루프 상태를 제공한다.
LLM 게이트웨이: 모든 플랫폼 팀이 결국 만들게 되는 이유
두 번째 팀이 모델을 호출하기 시작하면 통제되지 않은 확산이 시작된다. LLM 게이트웨이는 인증, 쿼터, 라우팅, 감사를 한곳에 모은다. 자체 구축 대 LiteLLM 대 API Gateway.
AWS 월간 브리핑 (2026년 4월): OpenAI가 Bedrock에 상륙하다
2026년 4월 AWS: OpenAI 모델, Codex, Managed Agents가 Bedrock에 도착했고, AgentCore는 관리형 하니스와 CLI를 추가해 에이전트로 가는 길을 단축했다.
리전 간 추론: 저렴한 복원력인가, 데이터 거주지 함정인가?
Bedrock 리전 간 추론은 처리량과 스로틀링을 완화한다. 하지만 글로벌 프로필은 프롬프트를 그 지리적 경계 밖으로 라우팅할 수 있다. 먼저 데이터 거주지부터 확인하라.
LLM 청구서는 관측 가능성 문제다
예상치 못한 Bedrock 청구서는 가격 문제가 아니라 가시성 문제다. 토큰을 기능, 테넌트, 에이전트에 귀속시킬 수 없다면 그것을 관리할 수 없다.
Bedrock 배치 추론: 기다릴 수 있다면 반값
Amazon Bedrock 배치 추론은 온디맨드 가격의 50%에 실행된다. 유일한 대가는 지연 시간뿐이다. 아무도 기다리지 않는 작업이라면 이 거래는 공짜 돈이나 다름없다.
멀티 테넌트 LLM 앱: 공유 모델 위에서 고객을 격리하기
하나의 공유 Bedrock 모델, 여러 고객. 모델은 상태를 갖지 않으므로 격리는 여러분의 몫이다. 검색 범위를 정하고, 쿼터를 제한하고, 테넌트별 아이덴티티를 끝까지 전달하라.
에이전트 메모리는 프롬프트 문제가 아니라 데이터베이스 문제다
에이전트의 전체 이력을 다음 프롬프트에 통째로 붙여넣는 것은 메모리가 아니라 늘어나는 청구서이자 토큰 상한선이다. 진짜 메모리는 검색 단계를 갖춘 데이터베이스다.
구조화된 출력이 영리한 파싱을 이긴다
아직도 모델 텍스트에서 정규식으로 JSON을 파싱하고 있는가? 이제 그만두자. Bedrock 구조화된 출력은 디코딩 단계에서 JSON Schema를 강제해 응답이 처음부터 유효하다.
Bedrock 프롬프트 캐싱: 대부분의 팀이 놓치는 90% 할인
Bedrock 프롬프트 캐싱은 반복되는 프리픽스를 90% 할인된 가격에 읽지만, 캐시 쓰기는 일반 입력 토큰보다 비싸다. 브레이크포인트 위치가 결과를 가른다.
Ercan의 다른 글
같은 저자, 다른 영역의 사이트 두 개.