Amazon Bedrock 리전 간 추론(cross-region inference)은 라우팅 수수료 없이 더 높은 실질 처리량과 더 적은 리전별 스로틀링 오류를 제공하며, 이는 거의 공짜 복원력에 가깝다. 함정은 글로벌 추론 프로필이 여유 용량이 있는 어느 리전으로든 프롬프트를 보낼 수 있다는 점이며, 그 프롬프트가 규제 대상 데이터를 담고 있다면 "용량이 있는 어딘가"는 컴플라이언스 팀이 받아들일 만한 답이 아니다. 이 기능 자체는 정말 유용하다. 이것이 이득이 될지 위반이 될지는 전적으로 어떤 종류의 추론 프로필을 선택하느냐에 달려 있고, 그 선택은 의미를 읽지 않고도 손쉽게 내려질 수 있다.

매력은 진짜다. 단일 리전 모델 호출은 그 리전의 용량과 리전별 스로틀링 한도에 갇힌다. 리전 간 추론은 Bedrock이 여러 리전에 걸쳐 요청을 분산시킬 수 있게 해서, 한 리전에서라면 스로틀링 오류를 냈을 급증을 흡수한다. 라우팅 자체에 프리미엄을 지불하지 않고도 더 나은 테일 지연 시간과 더 적은 429 오류를 얻는다. 문제는 그것이 도움이 되는가가 아니다. 그것이 도움이 되는 동안 여러분의 데이터가 어디로 가도 되는가이다.

두 가지 프로필, 매우 다른 두 가지 약속

Bedrock은 두 가지 종류의 리전 간 추론을 제공하며, 그 둘 사이의 간극이 이 글의 핵심이다.

  • 지리적 프로필(Geographic profile). 라우팅이 미국이나 EU 같은 지정된 지리적 범위 안으로 제한된다. Bedrock은 그 경계 안에서 가장 좋은 리전을 고르므로, EU 지리적 프로필은 처리를 EU 리전 안에 유지한다. 데이터 거주지 요구사항이 있다면 이것을 선택해야 한다.
  • 글로벌 프로필(Global profile). 최대 처리량과 비용 효율을 위해 라우팅에 제약이 없다. Bedrock은 어디에서든 가장 좋은 상업 리전으로 요청을 보낸다. 유럽 사용자의 프롬프트를 유럽 밖 리전으로 옮길 수 있는 것이 바로 이 프로필이다.

둘 다 복원력을 개선한다. 지리적 경계를 지키는 것은 하나뿐이다. 최고의 처리량을 광고한다는 이유만으로 어떤 데이터가 그것을 통해 흘러가는지 확인하지 않고 글로벌 프로필을 선택하는 것이, 처리량 최적화가 데이터 거주지 사고로 바뀌는 방식이다.

거주지는 저장소만이 아니라 프롬프트에 관한 것이다

데이터베이스를 신중하게 EU 안에 두는 팀도 때때로 추론 호출 역시 데이터를 실어 나른다는 사실을 잊는다. 프롬프트는 데이터다. 개인정보, 고객 기록, 혹은 어떤 규제가 특정 지리에 묶어 두는 무언가를 담고 있다면, 그 프롬프트를 처리하는 리전은 저장하는 리전과 똑같이 데이터 거주지 범위 안에 들어간다. 그 프롬프트를 다른 대륙으로 중계해 처리하는 글로벌 프로필은, 아무것도 그곳에 "저장"되지 않았더라도 규제 대상 데이터를 국경 너머로 옮긴 것이다. 데이터 거주지 문제는 데이터베이스로 들어갈 때뿐 아니라 추론 과정 내내 데이터를 따라간다.

워크로드별로 어떻게 결정할 것인가

이것은 계정 전체에 적용되는 하나의 설정이 아니다. 워크로드별 판단이며, 결정을 좌우하는 질문은 프롬프트가 무엇을 담고 있는가이다.

Does the prompt contain data bound to a geography?
  yes -> geographic profile, matched to the required region
         (accept the capacity ceiling of that geography)
  no  -> global profile is fine
         (take the throughput and resilience, no residency risk)

규제 대상 유럽 데이터를 처리하는 워크로드는 EU 지리적 프로필을 사용하고 EU 용량으로 제한되는 것을 감수해야 한다. 아무리 빠르더라도 대안이 컴플라이언스 위반이기 때문이다. 민감하지 않은 데이터, 내부 도구, 공개 콘텐츠, 합성 프롬프트를 다루는 워크로드는 글로벌 프로필을 선택해 아무런 위험 부담 없이 복원력을 누릴 수 있다. 가격은 어느 경우든 호출하는 리전을 기준으로 계산되므로, 이것은 비용의 문제가 아니라 컴플라이언스의 문제다.

결론

리전 간 추론은 프로필을 데이터에 맞게 선택하면 저렴한 복원력이 된다. 지리적 프로필은 처리를 경계 안에 유지하며, 규제 대상 데이터를 다루는 모든 것에 대해 그 지리의 용량 상한선을 대가로 치르는 올바른 기본값이다. 글로벌 프로필은 최고의 처리량을 제공하며, 거주지 제약이 없는 데이터에는 문제가 없다. 함정은 이 기능 자체가 아니라, 더 빠르게 들린다는 이유만으로 반사적으로 글로벌 프로필을 선택했다가, 나중에서야 "가장 좋은 가용 리전"이 규제 대상 프롬프트를 조용히 국경 너머로 중계했다는 사실을 발견하는 것이다. 워크로드별로 결정하고, 프롬프트가 무엇을 담고 있는지가 프로필을 선택하게 하라.

다음으로 읽을 글

AWS 전반의 멀티 리전 아키텍처 및 데이터 거주지 플레이북은 ercan.cloud의 클라우드 필드 노트에서, 허브는 ercanermis.com에서 확인할 수 있다.