Redis

모델로 가는 하나의 문, 6부. Semantic Caching과 그 실패 모드

semantic cache는 비용 레버가 아니라 정확성의 표면이다. 6부는 score threshold를 조정하고 테넌트를 격리하며 cache가 사라진 날에 대비한다.