Von direkten API-Aufrufen zu einem gesteuerten Endpunkt

Nicht sicher, ob Sie schon ein Gateway brauchen? Hier steht, was eines tut und wann der direkte Aufruf beim Anbieter trotzdem die bessere Wahl bleibt: Was ist ein AI Gateway?

Fünf Schritte, eine Anwendung nach der anderen

1 · Wäg starten und Ihre Anbieter eintragen

Hinterlegen Sie für jeden Anbieter Ihr bestehendes Konto und benennen Sie die Aliase nach den Modellnamen, die Ihr Code ohnehin sendet. Dann muss kein Modellverweis in keiner Anwendung geändert werden.

# waeg.yaml — aliases named after the models your code already asks for
providers:
  openai:
    provider: openai
    api_key_env: OPENAI_API_KEY
  anthropic:
    provider: anthropic
    api_key_env: ANTHROPIC_API_KEY

models:
  - name: gpt-4o
    deployments:
      - provider: openai
        model_id: gpt-4o

  - name: claude-haiku-4-5
    deployments:
      - provider: anthropic
        model_id: claude-haiku-4-5

Keys werden aus der Umgebung oder Ihrem Vault aufgelöst und nie in die Datei geschrieben.

2 · Pro Anwendung einen Gateway-Key ausstellen

Jede Anwendung erhält statt des Anbieter-Keys einen eigenen virtuellen Key. Das macht Kosten pro Anwendung, Limits pro Team und den Widerruf eines einzelnen Services möglich — nichts davon kann ein gemeinsamer Anbieter-Key.

3 · Base-URL und Key ändern

Wäg bedient die OpenAI-kompatible Oberfläche — Chat Completions, die Responses API (zustandslos), Embeddings, Bilder, Audio, Video, OCR, Moderations, Rerank, Dateien, Batches, Realtime und Modelle — mit echtem SSE-Streaming, dazu /v1/mcp und /v1/a2a für Agenten. In der Anwendung ändern sich zwei Zeilen:

  client = OpenAI(
-     api_key=os.environ["OPENAI_API_KEY"],
+     base_url=os.environ["WAEG_BASE_URL"],   # e.g. https://waeg.internal/v1
+     api_key=os.environ["WAEG_KEY"],         # this application's gateway key
  )

Anwendungen auf Basis der eigenen SDKs von Anthropic oder Gemini werden ebenfalls unterstützt: /v1/messages und /v1beta von Gemini sind erstklassige Anfrageformate, nicht nur Übersetzungen des OpenAI-Formats.

4 · Prüfen, dann die nächste Anwendung

Senden Sie je eine normale, eine Streaming- und eine Tool-Calling-Anfrage und lesen Sie die Antwort-Header: x-waeg-routed-model nennt das Modell, das geantwortet hat, x-waeg-route-reason den Grund (bei intelligentem Routing), x-waeg-cache, ob ein Cache geantwortet hat. Die Anfrage steht bereits mit Tokens und Kosten in der Konsole.

Eine sinnvolle Reihenfolge: zuerst interne Werkzeuge, dann Batch- und Offline-Workloads, dann ein Produktivservice, dann der Rest.

5 · Die Anbieter-Keys aus den Anwendungen entfernen

Läuft jede Anwendung über Wäg, rotieren Sie die Anbieter-Keys und löschen sie aus Anwendungsumgebungen, CI-Secrets und Konfigurationsdateien. Danach hält sie nur noch Wäg — das ist der Großteil des Sicherheitsgewinns und der Schritt, den Teams am häufigsten vergessen.

Was Sie gewonnen haben

• Kosten pro Anwendung, Team und Nutzer, so wie sie entstehen — nicht aus einer Rechnung rekonstruiert.
• Budgets, die Ausgaben stoppen, bevor der Anbieter aufgerufen wird, statt Dashboards, die hinterher rot werden.
• Failover auf einen anderen Anbieter oder ein anderes Modell, wenn eines ausfällt.
• Datenregeln — maskieren, schwärzen, blockieren — für jeden Prompt, auch in Anwendungen, die niemand angefasst hat.
• Ein Nachweis zu jeder Anfrage: wer, welches Modell, warum, was sie gekostet hat, welche Regeln galten.
• Modelle, die per Konfiguration hinzugefügt oder getauscht werden, ohne Deployment jeder Anwendung.

Was es Sie kostet

• Ein weiterer Service im Betrieb. Der Embedded-Modus braucht nichts Externes, ist aber Single-Node und speicherbasiert, für Tests; Produktion läuft auf Postgres und OpenFGA, dazu Redis, sobald es mehrere Replicas gibt.
• Ein weiterer Netzwerk-Hop. Einige Millisekunden gegenüber Modellaufrufen von Hunderten Millisekunden bis Sekunden — und Cache-Treffer kommen schneller zurück als jeder Anbieter.
• Jemand muss es verantworten. Meist das Plattformteam, also dieselben Leute, die Ihre übrige gemeinsame Infrastruktur betreuen.

Häufige Fragen