Posts
All posts
온콜 에이전트, 8부. 프로덕션: 옵저버빌리티, 평가, 그리고 거짓말하는 날
CloudWatch로 가는 OTEL 트레이스, S3로의 Bedrock 호출 로깅, 골든 인시던트 세트의 평가 하네스, 트리아지 에이전트가 확신에 차 거짓말한 날.
하이프 이후의 Kiro: AI IDE가 실제로 바꾼 것
Kiro GA 8개월 후, 스펙은 살아남았고 IDE는 대부분 살아남지 못했다. 실제로 바뀐 것은 코드 작성자가 아니라 검토가 일어나는 지점이다.
당신의 AI 파일럿이 구매 절차에서 죽은 이유
대부분의 AI 파일럿은 정확도가 아니라 보안 검토와 데이터 처리 계약에서 멈춘다. 이어질 12주를 아무도 일정에 넣지 않아서다.
추론 프로파일로 앱 단위 Bedrock 비용 추적하기
애플리케이션 추론 프로파일은 Bedrock 호출에 비용 배분 태그를 붙여 공용 청구서를 팀별 항목으로 나눈다. 어려운 부분은 태그 설계다.
온콜 에이전트, 7부. 사이징: 아무도 미리 하지 않는 토큰 계산
아무도 미리 하지 않는 사이징 계산. 인시던트당 토큰, 쿼터 상한, Provisioned Throughput의 손익분기점, 플랫폼의 월 청구서까지 짚는다.
EU AI Act, 8월 2일: 밀리지 않은 마감일
디지털 옴니버스는 고위험 마감일을 2027년과 2028년으로 미뤘다. 제50조 투명성 의무는 그대로 2026년 8월 2일 발효된다.
SageMaker vs Bedrock: 기술적 결정이 아니라 조직적 결정
SageMaker냐 Bedrock이냐는 결국 모델을 소유하는 팀이 조직에 있는지를 묻는 질문이다. 슬라이드가 아니라 실제 팀 구조에 맞춰 선택하라.
당신의 문서를 통한 프롬프트 인젝션: RAG의 공격 표면
지식 베이스는 신뢰할 수 없는 입력이다. 검색은 공격자가 작성한 텍스트를 모델에 그대로 전달하므로, 통제는 수집 시점의 스캔이 핵심이다.
M365 Security 101: AI Pilot과 Business Impact Reports
보안에서 AI가 제값을 하는 두 지점: 승인 게이트를 거치는 자동 조치와 경영진이 행동으로 옮길 수 있는 리포트. Aether365를 예시로 한 101 입문이다.
온콜 에이전트, 6부. 가드레일: 모두가 건너뛰는 부분
위협 모델부터 세우고 가드레일을 붙인다. 테라폼으로 만드는 Bedrock Guardrails, 여전히 IAM이 지는 무게, 아무도 시연하지 않는 실패 모드까지.
모델은 신뢰하되, 바이너리는 감사하라
코딩 에이전트 클라이언트는 머신에서 가장 강력한 권한을 가진 바이너리이므로 신뢰가 아니라 감사의 대상이어야 한다. Claude Code의 프롬프트 핑거프린트가 3개월간 안 들킨 것이 증거다.
AWS 먼슬리 (2026년 6월): 에이전트가 피드백 루프를 얻다
2026년 6월 AWS는 뉴욕 서밋에서 프로덕션 트레이스를 에이전트 개선으로 바꾸고 보안용 Continuum을 내놓았으며 AgentCore 하네스를 정식 출시했다.
온콜 에이전트, 5부. 팀: 수퍼바이저와 스페셜리스트 셋
수퍼바이저가 트리아지, 런북, 비용 에이전트에 네트워크로 위임하고 AgentCore Memory가 발견을 하나로 묶는다. 에이전트 하나로 충분한 경우도 짚는다.
AWS가 AI 생성 코드를 위한 sandbox를 만들었다: Lambda MicroVM
AWS Lambda MicroVM은 AI agent가 모델이 생성한 코드를 VM 수준에서 격리해 실행할 수 있는 공간을 제공한다. 프로덕션 agent에 빠져 있던 조각은 바로 런타임이었다.
멀티 에이전트 시스템의 진짜 한계는 분당 토큰 수다
Amazon Bedrock가 이제 Service Quotas에서 모델별 분당 토큰 수 할당량을 노출한다. agent에게는 TPM이 실제 확장 상한선이다. 429가 터지기 전에 미리 계획하라.
에스토니아가 AI 에이전트에게 ID를 부여한다. 그것은 쉬운 부분이다
에스토니아는 세계 최초로 AI 에이전트에게 AI ID 코드를 발급할 계획이다. 신원은 쉬운 부분이다. 권한, 위임, 책임이 진짜 어려운 작업이다.
Le Chaton Fat: 존재한 적 없는 가장 뚱뚱한 AI 모델
Le Chaton Fat라는 AI 모델은 없습니다. 가중치도, API도, 벤치마크도 없죠. Mistral발 고양이 농담이 어떻게 AI 커뮤니티가 가장 사랑하는 유행어가 되었는지 알려드립니다.
온콜 에이전트, 4부. 도구와 Gateway: MCP, 허용 목록, 기본값은 읽기 전용
도구들이 AgentCore Gateway 뒤로 옮겨간다. 범위가 좁은 Lambda, 크로스 계정 읽기 전용 역할, 변경을 허용하는 유일한 게이트 경로를 다룬다.
AI 코딩 에이전트에게도 스테이징 환경이 필요하다
팀들은 코딩 에이전트에 프로덕션 자격 증명을 쥐여주고 속도라 불렀다. 에이전트는 판단력 없는 기여자이며 같은 환경 사다리가 필요하다.
온콜 에이전트, 3부. 첫 번째 에이전트: Strands로 만드는 인시던트 트리아지
Strands 트리아지 에이전트가 AgentCore Runtime에 배포된다. 증거 우선 시스템 프롬프트와 읽기 전용 도구 두 개, 배포용 테라폼을 다룬다.
CI 안의 Claude Code: 에이전트에게 빌드 수정을 맡긴다는 것
파이프라인에 코딩 에이전트를 넣는 건 쉽다. 진짜 엔지니어링은 무엇을 건드릴 수 있는지, 언제 멈추는지, 누가 검토하는지에 있다.
온콜 에이전트, 2부. 기반: 토큰보다 테라폼이 먼저다
Bedrock 토큰이 흐르기 전, ops-tooling 계정과 두 스포크 IAM 역할, 모델 접근, 추론 프로필 결정을 모두 테라폼으로 구축한다.
컨텍스트 윈도우는 당신 편이 아니다
거대한 컨텍스트 윈도우는 검색을 대체하지 못한다. 프롬프트가 길어질수록 재현율은 떨어지고 비용은 토큰마다 늘어나며 중간 부분은 대충 읽힌다.
AWS 월간 정리 (2026년 5월): 에이전트가 지갑을 얻다
2026년 5월 AWS: AgentCore Payments로 에이전트가 거래하고, Agent Toolkit for AWS와 정식 출시된 관리형 MCP 서버가 도구 체인을 단단하게 만든다.
온콜 에이전트, 1부. 시나리오: 운영팀이 에이전트를 채용하는 이유
중견 SaaS가 온콜 업무에 짓눌려 에이전트 채용을 결정한다. 1부는 시나리오와 스택 선택, 구축할 AWS Bedrock 아키텍처를 다룬다.
개인정보를 남기지 않고 프롬프트 로깅하기
LLM 앱을 디버깅하려면 프롬프트 로그가 필요하지만 원본 PII를 그대로 남겨둘 수는 없다. Comprehend로 저장 전에 마스킹하고, 로그가 일정에 맞춰 만료되도록 보존 기간을 설정하라.
Haiku가 Opus를 이길 때: Bedrock에서의 모델 적정 사이징
모든 호출을 기본값으로 Opus에 맡기는 것이 LLM 청구서가 부풀어 오르는 이유다. 작업 유형별로 라우팅하라. 기계적인 다수는 Haiku, Opus는 어려운 경우의 에스컬레이션 경로로.
에이전틱 RAG는 대부분 필요 없는 지연 시간이다
에이전틱 RAG는 검색 홉을 반복하며, 각 홉은 모델 왕복이다. 대부분의 질문에는 잘 만든 쿼리 하나가 이긴다. 지연을 감수할 가치가 있을 때만 루프를 써라.
에이전트보다 먼저 평가: 점수를 매길 수 없다면 출시할 수도 없다
평가 하네스가 없으면 모든 에이전트 변경은 감으로 하는 확인일 뿐이다. 에이전트보다 먼저 점수판을 만들고, LLM 심사자도 틀릴 수 있는 부품으로 다뤄라.
시맨틱 캐싱: 서로 다른 두 질문, 하나의 답
시맨틱 캐시는 다르게 표현된 두 질문에 하나의 저장된 답을 돌려준다. 비용과 지연을 줄이지만, 잘못된 히트는 자신 있게 틀린 답을 내놓는다.
Step Functions는 가장 저평가된 에이전트 오케스트레이터다
대부분의 에이전트 워크플로는 제어 흐름을 결정할 모델이 필요 없다. Step Functions는 결정적 오케스트레이션, 재시도, 휴먼인더루프 상태를 제공한다.
LLM 게이트웨이: 모든 플랫폼 팀이 결국 만들게 되는 이유
두 번째 팀이 모델을 호출하기 시작하면 통제되지 않은 확산이 시작된다. LLM 게이트웨이는 인증, 쿼터, 라우팅, 감사를 한곳에 모은다. 자체 구축 대 LiteLLM 대 API Gateway.
AWS 월간 브리핑 (2026년 4월): OpenAI가 Bedrock에 상륙하다
2026년 4월 AWS: OpenAI 모델, Codex, Managed Agents가 Bedrock에 도착했고, AgentCore는 관리형 하니스와 CLI를 추가해 에이전트로 가는 길을 단축했다.
리전 간 추론: 저렴한 복원력인가, 데이터 거주지 함정인가?
Bedrock 리전 간 추론은 처리량과 스로틀링을 완화한다. 하지만 글로벌 프로필은 프롬프트를 그 지리적 경계 밖으로 라우팅할 수 있다. 먼저 데이터 거주지부터 확인하라.
LLM 청구서는 관측 가능성 문제다
예상치 못한 Bedrock 청구서는 가격 문제가 아니라 가시성 문제다. 토큰을 기능, 테넌트, 에이전트에 귀속시킬 수 없다면 그것을 관리할 수 없다.
Bedrock 배치 추론: 기다릴 수 있다면 반값
Amazon Bedrock 배치 추론은 온디맨드 가격의 50%에 실행된다. 유일한 대가는 지연 시간뿐이다. 아무도 기다리지 않는 작업이라면 이 거래는 공짜 돈이나 다름없다.
멀티 테넌트 LLM 앱: 공유 모델 위에서 고객을 격리하기
하나의 공유 Bedrock 모델, 여러 고객. 모델은 상태를 갖지 않으므로 격리는 여러분의 몫이다. 검색 범위를 정하고, 쿼터를 제한하고, 테넌트별 아이덴티티를 끝까지 전달하라.
에이전트 메모리는 프롬프트 문제가 아니라 데이터베이스 문제다
에이전트의 전체 이력을 다음 프롬프트에 통째로 붙여넣는 것은 메모리가 아니라 늘어나는 청구서이자 토큰 상한선이다. 진짜 메모리는 검색 단계를 갖춘 데이터베이스다.
구조화된 출력이 영리한 파싱을 이긴다
아직도 모델 텍스트에서 정규식으로 JSON을 파싱하고 있는가? 이제 그만두자. Bedrock 구조화된 출력은 디코딩 단계에서 JSON Schema를 강제해 응답이 처음부터 유효하다.
Bedrock 프롬프트 캐싱: 대부분의 팀이 놓치는 90% 할인
Bedrock 프롬프트 캐싱은 반복되는 프리픽스를 90% 할인된 가격에 읽지만, 캐시 쓰기는 일반 입력 토큰보다 비싸다. 브레이크포인트 위치가 결과를 가른다.
AWS 월간 정리 (2026년 3월): 거버넌스가 에이전트를 찾아오다
2026년 3월 AWS: AgentCore Policy와 Evaluations 정식 출시, Elemental Inference 등장. 에이전트 거버넌스가 데모에서 프로덕션 제어 플레인으로 넘어간다.
스트리밍 응답은 성능이 아니라 UX 결정이다
모델 응답을 스트리밍하는 것은 첫 토큰까지의 시간에 관한 사용자 경험 선택이지, 속도를 고치는 방법이 아니다. 때로는 구조화된 출력과 도구 사용을 더 나쁘게 만든다.
Bedrock Agents vs 직접 만든 루프
Amazon Bedrock Agents는 오케스트레이션, 메모리, 도구 호출을 대신 처리해준다. 관리형 프레임워크가 실제로 일을 덜어주는 경우와 조용히 발목을 잡는 경우를 정리했다.
LLM 애플리케이션을 위한 IAM: 호출자가 모델일 때의 최소 권한
호출자가 모델일 때도 최소 권한 원칙은 여전히 적용된다. 각 에이전트 도구에 범위가 좁은 IAM 역할과 세션 정책을 부여하라. 넓은 관리자 자격증명 하나가 아니라.
누군가 antrophic.com을 등록해서 OpenAI로 연결했다
진짜 도메인은 anthropic.com이다. Claude를 만든 AI 안전성 회사로, 전 OpenAI 연구원들이 설립했으며 AI 시스템을 안전하고 해석 가능하게 만드는 중요한 작업을 하고 있다.
파인튜닝을 멈춰라. 필요한 건 RAG, 캐시, 그리고 더 나은 프롬프트다
파인튜닝과 프로비저닝된 처리량은 대부분의 LLM 문제에 대한 값비싼 답이다. 더 저렴한 길은 검색, 프롬프트 캐싱, 더 나은 프롬프트다.
Knowledge Base 청킹, RAG 품질이 무너지는 지점
대부분의 잘못된 RAG 답변은 모델 문제가 아니라 검색 문제다. Bedrock Knowledge Bases의 고정, 시맨틱, 계층형 청킹이 품질을 결정하는 방식.
Bedrock Guardrails는 프롬프트 인젝션을 막아주지 않는다
Amazon Bedrock Guardrails는 콘텐츠를 필터링할 뿐, 행동을 승인하지 않는다. 진짜 프롬프트 인젝션 방어는 입력 격리, 도구 허용목록, IAM 범위 지정이다.
Amazon Bedrock Knowledge Base 비용 약 90% 절감: OpenSearch Serverless에서 Aurora Serverless v2 + pgvector로 마이그레이션
OpenSearch Serverless 벡터 스토어는 문서 하나 넣기 전부터 월 $700가 든다. Aurora Serverless v2와 pgvector로 바꾸면 하한선을 $50 아래로 낮춘다.
AWS Monthly (12월 '25): 키로 시대의 시작
Kiro(Frontier Agents)의 정식 출시와 함께 한 해를 마무리했습니다. Kiro는 단순한 챗봇이 아니라 가상 소프트웨어 개발 팀입니다.
AWS re:Invent 2025: '에이전틱' 시대
에이전틱 관점에서 본 re:Invent 2025: Nova 2 패밀리는 역할별로 세분화되었고, AWS는 대화형 챗봇 대신 실제 작업을 처리하는 방향으로 전환했다.
AWS Monthly (2025년 10월): AI 학습의 산업화
2025년 10월 AWS 소식: Project Rainier가 50만 개 이상의 Trainium2 칩을 하나의 클러스터로 묶었고, 가격 대비 성능은 동급 GPU를 앞섰다.
AWS Monthly (2025년 6월): S3가 당신의 Vector DB가 되다
지난 2년간 우리는 Retrieval-Augmented Generation(RAG)을 위해 특수 벡터 데이터베이스(Pinecone, Milvus 등)가 필요하다고 들어왔다. AWS가 이...
AWS Monthly (2025년 2월): 자동화된 코드 진화
2025년 2월 AWS 소식: Amazon Q Developer가 코드 자동완성을 넘어 리포지토리 의존성을 매핑하고 레거시 Java를 스스로 리팩토링하는 수준으로 진화했다.