AI, LLMs, and applied ML.
Ercan Ermis의 AI, LLM, 에이전트 및 응용 머신러닝에 관한 시니어 엔지니어 필드 노트.
All posts
CI 안의 Claude Code: 에이전트에게 빌드 수정을 맡긴다는 것
파이프라인에 코딩 에이전트를 넣는 건 쉽다. 진짜 엔지니어링은 무엇을 건드릴 수 있는지, 언제 멈추는지, 누가 검토하는지에 있다.
온콜 에이전트, 2부. 기반: 토큰보다 테라폼이 먼저다
Bedrock 토큰이 흐르기 전, ops-tooling 계정과 두 스포크 IAM 역할, 모델 접근, 추론 프로필 결정을 모두 테라폼으로 구축한다.
컨텍스트 윈도우는 당신 편이 아니다
거대한 컨텍스트 윈도우는 검색을 대체하지 못한다. 프롬프트가 길어질수록 재현율은 떨어지고 비용은 토큰마다 늘어나며 중간 부분은 대충 읽힌다.
AWS 월간 정리 (2026년 5월): 에이전트가 지갑을 얻다
2026년 5월 AWS: AgentCore Payments로 에이전트가 거래하고, Agent Toolkit for AWS와 정식 출시된 관리형 MCP 서버가 도구 체인을 단단하게 만든다.
온콜 에이전트, 1부. 시나리오: 운영팀이 에이전트를 채용하는 이유
중견 SaaS가 온콜 업무에 짓눌려 에이전트 채용을 결정한다. 1부는 시나리오와 스택 선택, 구축할 AWS Bedrock 아키텍처를 다룬다.
개인정보를 남기지 않고 프롬프트 로깅하기
LLM 앱을 디버깅하려면 프롬프트 로그가 필요하지만 원본 PII를 그대로 남겨둘 수는 없다. Comprehend로 저장 전에 마스킹하고, 로그가 일정에 맞춰 만료되도록 보존 기간을 설정하라.
Haiku가 Opus를 이길 때: Bedrock에서의 모델 적정 사이징
모든 호출을 기본값으로 Opus에 맡기는 것이 LLM 청구서가 부풀어 오르는 이유다. 작업 유형별로 라우팅하라. 기계적인 다수는 Haiku, Opus는 어려운 경우의 에스컬레이션 경로로.
에이전틱 RAG는 대부분 필요 없는 지연 시간이다
에이전틱 RAG는 검색 홉을 반복하며, 각 홉은 모델 왕복이다. 대부분의 질문에는 잘 만든 쿼리 하나가 이긴다. 지연을 감수할 가치가 있을 때만 루프를 써라.
에이전트보다 먼저 평가: 점수를 매길 수 없다면 출시할 수도 없다
평가 하네스가 없으면 모든 에이전트 변경은 감으로 하는 확인일 뿐이다. 에이전트보다 먼저 점수판을 만들고, LLM 심사자도 틀릴 수 있는 부품으로 다뤄라.
시맨틱 캐싱: 서로 다른 두 질문, 하나의 답
시맨틱 캐시는 다르게 표현된 두 질문에 하나의 저장된 답을 돌려준다. 비용과 지연을 줄이지만, 잘못된 히트는 자신 있게 틀린 답을 내놓는다.
Ercan의 다른 글
같은 저자, 다른 영역의 사이트 두 개.