Observability
Filed under
2 posts
모델로 가는 하나의 문, 10부. 관측성, 거버넌스, 그리고 숫자
프롬프트 로깅은 게이트웨이를 사용자가 입력한 모든 것의 처리자로 만든다. 10부는 trace, 프로덕션 eval, 거버넌스, 스코어카드로 시리즈를 닫는다.
LLM 청구서는 관측 가능성 문제다
예상치 못한 Bedrock 청구서는 가격 문제가 아니라 가시성 문제다. 토큰을 기능, 테넌트, 에이전트에 귀속시킬 수 없다면 그것을 관리할 수 없다.