Isolation

マルチテナントLLMアプリ: 共有モデル上で顧客を分離する

1つの共有Bedrockモデルを多くの顧客が使う。モデルはステートレスなので、分離は自分の仕事だ。検索範囲を絞り、クォータを上限で管理し、テナントごとにアイデンティティを運ぶ。