AI, LLMs, and applied ML.
Ercan Ermis의 AI, LLM, 에이전트 및 응용 머신러닝에 관한 시니어 엔지니어 필드 노트.
All posts
구조화된 출력이 영리한 파싱을 이긴다
아직도 모델 텍스트에서 정규식으로 JSON을 파싱하고 있는가? 이제 그만두자. Bedrock 구조화된 출력은 디코딩 단계에서 JSON Schema를 강제해 응답이 처음부터 유효하다.
Bedrock 프롬프트 캐싱: 대부분의 팀이 놓치는 90% 할인
Bedrock 프롬프트 캐싱은 반복되는 프리픽스를 90% 할인된 가격에 읽지만, 캐시 쓰기는 일반 입력 토큰보다 비싸다. 브레이크포인트 위치가 결과를 가른다.
AWS 월간 정리 (2026년 3월): 거버넌스가 에이전트를 찾아오다
2026년 3월 AWS: AgentCore Policy와 Evaluations 정식 출시, Elemental Inference 등장. 에이전트 거버넌스가 데모에서 프로덕션 제어 플레인으로 넘어간다.
스트리밍 응답은 성능이 아니라 UX 결정이다
모델 응답을 스트리밍하는 것은 첫 토큰까지의 시간에 관한 사용자 경험 선택이지, 속도를 고치는 방법이 아니다. 때로는 구조화된 출력과 도구 사용을 더 나쁘게 만든다.
Bedrock Agents vs 직접 만든 루프
Amazon Bedrock Agents는 오케스트레이션, 메모리, 도구 호출을 대신 처리해준다. 관리형 프레임워크가 실제로 일을 덜어주는 경우와 조용히 발목을 잡는 경우를 정리했다.
LLM 애플리케이션을 위한 IAM: 호출자가 모델일 때의 최소 권한
호출자가 모델일 때도 최소 권한 원칙은 여전히 적용된다. 각 에이전트 도구에 범위가 좁은 IAM 역할과 세션 정책을 부여하라. 넓은 관리자 자격증명 하나가 아니라.
누군가 antrophic.com을 등록해서 OpenAI로 연결했다
진짜 도메인은 anthropic.com이다. Claude를 만든 AI 안전성 회사로, 전 OpenAI 연구원들이 설립했으며 AI 시스템을 안전하고 해석 가능하게 만드는 중요한 작업을 하고 있다.
파인튜닝을 멈춰라. 필요한 건 RAG, 캐시, 그리고 더 나은 프롬프트다
파인튜닝과 프로비저닝된 처리량은 대부분의 LLM 문제에 대한 값비싼 답이다. 더 저렴한 길은 검색, 프롬프트 캐싱, 더 나은 프롬프트다.
Knowledge Base 청킹, RAG 품질이 무너지는 지점
대부분의 잘못된 RAG 답변은 모델 문제가 아니라 검색 문제다. Bedrock Knowledge Bases의 고정, 시맨틱, 계층형 청킹이 품질을 결정하는 방식.
Bedrock Guardrails는 프롬프트 인젝션을 막아주지 않는다
Amazon Bedrock Guardrails는 콘텐츠를 필터링할 뿐, 행동을 승인하지 않는다. 진짜 프롬프트 인젝션 방어는 입력 격리, 도구 허용목록, IAM 범위 지정이다.
Ercan의 다른 글
같은 저자, 다른 영역의 사이트 두 개.