Api-Management
Filed under
6 posts
モデルへの扉はひとつに。第8回 ゲートウェイの上のorchestration
retryと再ルーティングを行うorchestrationフレームワークはゲートウェイと競合する。第8回はフレームワークを薄く保ち、toolsを同じidentityの下に置く。
モデルへの扉はひとつに。第6回 semantic cachingとその失敗モード
semantic cacheはコスト削減の道具である前に正しさの境界だ。第6回はscore thresholdを調整し、テナントを分離し、キャッシュが消えた日に備える。
モデルへの扉はひとつに。第5回 アイデンティティ、quota、chargeback
カスタムメトリクスのdimensionは5つしか使えず、time seriesは掛け算で増える。第5回はカーディナリティに耐えるテナントのアイデンティティ、quota、chargebackを構築する。
モデルへの扉はひとつに。第3回 プロバイダー抽象化とstreaming
stream: trueにした瞬間、トークン計測は推定になる。WebSocketではload balancingが消える。第3回は保証とトランスポートの対応を描く。
モデルへの扉はひとつに。第2回 TerraformかBicepかARMか
Bicepにはstate fileがなく、Entra IDにも触れられない。第2回はゲートウェイのIaC層を選び、本番を勝手に更新するモデルバージョンの既定値を止める。
モデルへの扉はひとつに。第1回 意義編:なぜ中央LLMゲートウェイを建てるのか
ある企業が5つのGenAIアプリのコストを説明できずにいる。第1回はシナリオ、Azureでの自作か購入かの判断、そして本シリーズが築くゲートウェイの全体像を扱う。