Api-Management
Filed under
6 posts
모델로 가는 하나의 문, 8부. 게이트웨이 위의 Orchestration
retry와 reroute를 하는 orchestration framework는 게이트웨이와 경쟁한다. 8부는 framework를 얇게 유지하고 tools를 같은 identity 아래에 둔다.
모델로 가는 하나의 문, 6부. Semantic Caching과 그 실패 모드
semantic cache는 비용 레버가 아니라 정확성의 표면이다. 6부는 score threshold를 조정하고 테넌트를 격리하며 cache가 사라진 날에 대비한다.
모델로 가는 하나의 문, 5부. 아이덴티티, Quota, Chargeback
custom dimension은 다섯 개, time series는 곱으로 늘어난다. 5부는 cardinality를 버티는 테넌트 아이덴티티, quota, chargeback 모델을 만든다.
모델로 가는 하나의 문, 3부. Provider 추상화와 Streaming
stream을 true로 켜면 토큰 집계는 추정이 되고, WebSocket을 열면 load balancing은 사라진다. 3부는 전송 방식별 보장을 정리한다.
모델로 가는 하나의 문, 2부. Terraform인가, Bicep인가, ARM인가
Bicep은 state file이 없고 Entra ID를 만들지 못한다. 2부는 게이트웨이의 IaC 레이어를 고르고, 프로덕션을 스스로 업그레이드하는 모델 버전 기본값을 끈다.
모델로 가는 하나의 문, 1부. 중앙 LLM 게이트웨이를 세워야 하는 이유
한 회사가 GenAI 앱 5개를 운영하면서 각각의 비용을 말하지 못한다. 1부는 시나리오와 Azure에서의 구축 대 구매, 이 시리즈가 만들 게이트웨이를 다룬다.