Azure
Filed under
モデルへの扉はひとつに。第10回 observability、ガバナンス、そして数字
プロンプトをログに残した瞬間、ゲートウェイはユーザー入力の処理者になる。最終回はトレース、本番eval、ガバナンス、そして第1回の数字の答え合わせ。
モデルへの扉はひとつに。第9回 evalゲートとモデルの引退
timeoutした承認はstageをskippedにし、失敗にはしない。第9回はevalを本物のゲートにし、モデルの引退をプロジェクトではなくクエリに変える。
モデルへの扉はひとつに。第8回 ゲートウェイの上のorchestration
retryと再ルーティングを行うorchestrationフレームワークはゲートウェイと競合する。第8回はフレームワークを薄く保ち、toolsを同じidentityの下に置く。
モデルへの扉はひとつに。第7回 Azure AI Searchかベクトルデータベースか
Azure AI Searchはベクトル数ではなくSKUでキャパシティを課金し、vector indexはtierのメモリで上限が決まる。第7回はretrievalを機能ではなく制限で決める。
モデルへの扉はひとつに。第6回 semantic cachingとその失敗モード
semantic cacheはコスト削減の道具である前に正しさの境界だ。第6回はscore thresholdを調整し、テナントを分離し、キャッシュが消えた日に備える。
モデルへの扉はひとつに。第5回 アイデンティティ、quota、chargeback
カスタムメトリクスのdimensionは5つしか使えず、time seriesは掛け算で増える。第5回はカーディナリティに耐えるテナントのアイデンティティ、quota、chargebackを構築する。
モデルへの扉はひとつに。第4回 非同期処理をリクエストパスの外へ
バッチ推論は第二の扉だ。ファイルが入り、jobが走り、ファイルが出るまで、ゲートウェイのポリシーは経路のどこにもいない。第4回はこの会計を誠実に保つ。
モデルへの扉はひとつに。第3回 プロバイダー抽象化とstreaming
stream: trueにした瞬間、トークン計測は推定になる。WebSocketではload balancingが消える。第3回は保証とトランスポートの対応を描く。
モデルへの扉はひとつに。第2回 TerraformかBicepかARMか
Bicepにはstate fileがなく、Entra IDにも触れられない。第2回はゲートウェイのIaC層を選び、本番を勝手に更新するモデルバージョンの既定値を止める。
モデルへの扉はひとつに。第1回 意義編:なぜ中央LLMゲートウェイを建てるのか
ある企業が5つのGenAIアプリのコストを説明できずにいる。第1回はシナリオ、Azureでの自作か購入かの判断、そして本シリーズが築くゲートウェイの全体像を扱う。