クロスリージョン推論: 安価な耐障害性か、それともデータレジデンシーの罠か

Amazon Bedrockのクロスリージョン推論は、ルーティングの追加料金なしで実効スループットを高め、リージョンごとのスロットリングエラーを減らしてくれる。ほぼ無料の耐障害性に近い。落とし穴は、グローバル推論プロファイルがプロンプトをキャパシティのあるどのリージョンにでも送信しうることで、そのプロンプトが規制対象のデータを運んでいる場合、「キャパシティのあるどこか」はコンプライアンスチームが受け入れられる答えではないということだ。この機能自体は本物の価値がある。それが勝利になるか違反になるかは、どちらの種類の推論プロファイルを選ぶかに完全にかかっており、その意味を読まずに選択してしまうのはたやすい。

その魅力は本物だ。単一リージョンのモデル呼び出しは、そのリージョンのキャパシティとリージョンごとのスロットリング上限によって頭打ちになる。クロスリージョン推論はBedrockがリージョンをまたいでリクエストを分散させることを可能にし、1つのリージョンではスロットリングエラーを引き起こしていたであろうスパイクを吸収する。ルーティング自体にプレミアムを払うことなく、より良いテールレイテンシと少ないスロットリングエラーが得られる。問われるべきは、それが役立つかどうかではない。それが役立っている間、データがどこへ行くことを許されているか、だ。

2つのプロファイル、まったく異なる2つの約束

Bedrockはクロスリージョン推論を2種類提供しており、その両者の隔たりがこの記事の核心だ。

• 地理的プロファイル。ルーティングは、USやEUといった名前付きの地理的範囲に限定される。Bedrockはその境界内で最適なリージョンを選ぶので、EUの地理的プロファイルは処理をEUリージョン内にとどめる。データレジデンシー要件がある場合に選ぶべきものだ。
• グローバルプロファイル。ルーティングは、最大のスループットとコスト効率のために制約されない。Bedrockはリクエストをどこであれ最適な商用リージョンに送る。これがヨーロッパのユーザーのプロンプトをヨーロッパ外のリージョンに移動させうるものだ。

どちらも耐障害性を向上させる。しかし地理的な境界を尊重するのは一方だけだ。最高のスループットを謳っているという理由だけでグローバルプロファイルを選び、どんなデータがそこを流れるかを確認しないことが、スループットの最適化がレジデンシーのインシデントに変わる経緯だ。

レジデンシーはストアだけでなくプロンプトの問題でもある

データベースをEU内に慎重に保っているチームでも、推論呼び出しもデータを運ぶことを忘れることがある。プロンプトはデータだ。それが個人データ、顧客記録、規制がある地理に紐付けているものを含んでいるなら、そのプロンプトを処理するリージョンは、それを保存するリージョンとまったく同じように、レジデンシーの対象範囲に入る。そのプロンプトを別の大陸に処理のために中継するグローバルプロファイルは、何も「保存」されなかったとしても、規制対象のデータを国境をまたいで移動させたことになる。レジデンシーの問いは、データベースへの侵入だけでなく、推論を通じてもデータを追いかける。

ワークロードごとにどう決めるか

これはアカウント全体に対する1つの設定ではない。ワークロードごとの判断であり、決め手となる問いはプロンプトが何を運んでいるかだ。

Does the prompt contain data bound to a geography?
  yes -> geographic profile, matched to the required region
         (accept the capacity ceiling of that geography)
  no  -> global profile is fine
         (take the throughput and resilience, no residency risk)

規制対象のヨーロッパのデータを処理するワークロードはEUの地理的プロファイルを使い、EUのキャパシティに制限されることを受け入れる。どれだけ速くても非準拠であることの代償の方が大きいからだ。機密性のないデータ、社内ツール、公開コンテンツ、合成プロンプトを扱うワークロードはグローバルプロファイルを選び、何のレジデンシーリスクもなく耐障害性を享受できる。価格はどちらの場合も呼び出し元のリージョンから計算されるので、これはコストの判断ではなくコンプライアンスの判断だ。

まとめ

クロスリージョン推論は、プロファイルをデータに合わせれば安価な耐障害性になる。地理的プロファイルは処理を境界内にとどめ、規制対象データに触れるものすべてに対する正しいデフォルトであり、その代償はその地理のキャパシティ上限だ。グローバルプロファイルは最高のスループットを与え、レジデンシー制約のないデータには問題ない。落とし穴は機能自体ではなく、速そうに聞こえるという理由だけで反射的にグローバルプロファイルを選び、後になって「最適なリージョン」が規制対象のプロンプトを静かに国境を越えて中継していたと気づくことだ。ワークロードごとに判断し、プロンプトが運ぶものにプロファイルを選ばせよう。

次に読むべき記事

• Multi-Tenant LLM Apps: Isolating Customers on a Shared Model、共有モデルが代わりに強制してはくれない他の境界、データ、クォータ、アイデンティティについての記事。
• IAM for LLM Apps: Least Privilege When the Caller Is a Model、リージョンを含め、モデル駆動のリクエストが到達できる範囲を絞ることについての記事。

AWS全体にわたるマルチリージョンアーキテクチャとデータレジデンシーのプレイブックについては、クラウド分野のフィールドノートをercan.cloudで、ハブをercanermis.comで公開している。