AI, LLMs, and applied ML.
Ercan Ermis의 AI, LLM, 에이전트 및 응용 머신러닝에 관한 시니어 엔지니어 필드 노트.
All posts
벡터 데이터베이스는 먼저 깨지는 지점을 보고 골라라
대부분의 RAG 시스템은 pgvector로 시작하는 것이 맞다. 유용한 질문은 어느 벡터 데이터베이스가 가장 빠른가가 아니라, 어떤 실패 모드가 먼저 닥치는가다.
모델로 가는 하나의 문, 10부. 관측성, 거버넌스, 그리고 숫자
프롬프트 로깅은 게이트웨이를 사용자가 입력한 모든 것의 처리자로 만든다. 10부는 trace, 프로덕션 eval, 거버넌스, 스코어카드로 시리즈를 닫는다.
모델로 가는 하나의 문, 9부. 평가 게이트와 모델 은퇴
timeout으로 만료된 approval은 stage를 skipped로 표시한다. 9부는 eval을 실제 게이트로 만들고 모델 은퇴를 프로젝트가 아니라 쿼리로 바꾼다.
모델로 가는 하나의 문, 8부. 게이트웨이 위의 Orchestration
retry와 reroute를 하는 orchestration framework는 게이트웨이와 경쟁한다. 8부는 framework를 얇게 유지하고 tools를 같은 identity 아래에 둔다.
모델로 가는 하나의 문, 7부. Azure AI Search인가 벡터 데이터베이스인가
Azure AI Search는 벡터 수가 아니라 SKU로 용량이 정해지고 vector index는 티어 메모리에 묶인다. 7부는 retrieval을 기능이 아니라 한도로 결정한다.
모델로 가는 하나의 문, 6부. Semantic Caching과 그 실패 모드
semantic cache는 비용 레버가 아니라 정확성의 표면이다. 6부는 score threshold를 조정하고 테넌트를 격리하며 cache가 사라진 날에 대비한다.
모델로 가는 하나의 문, 5부. 아이덴티티, Quota, Chargeback
custom dimension은 다섯 개, time series는 곱으로 늘어난다. 5부는 cardinality를 버티는 테넌트 아이덴티티, quota, chargeback 모델을 만든다.
모델로 가는 하나의 문, 4부. 요청 경로 밖의 비동기 작업
batch 추론은 두 번째 문이다. 파일이 들어가고 job이 돌고 파일이 나오는 동안 게이트웨이 정책은 경로에 없다. 4부는 회계를 정직하게 유지한다.
모델로 가는 하나의 문, 3부. Provider 추상화와 Streaming
stream을 true로 켜면 토큰 집계는 추정이 되고, WebSocket을 열면 load balancing은 사라진다. 3부는 전송 방식별 보장을 정리한다.
엔터프라이즈 MCP 인증: 에이전트에게 드디어 서비스 계정이 생겼다
SEP-1046은 무인 에이전트에 client_credentials와 private_key_jwt 기반의 진짜 OAuth 경로를 제공한다. 해결된 것, 남은 과제, 도입 방법을 정리한다.
Ercan의 다른 글
같은 저자, 다른 영역의 사이트 두 개.