Fra direkte API-kald til ét styret endpoint

Er du ikke sikker på, at du har brug for en gateway endnu? Her forklares det, hvad en gateway gør, og hvornår det stadig er bedre at kalde provideren direkte: Hvad er en AI gateway?

Fem trin, én applikation ad gangen

1 · Kør Wäg og tilføj dine providers

Giv hver provider din eksisterende konto, og navngiv aliasserne efter de modelnavne, din kode allerede sender. Så skal ingen modelreference i nogen applikation ændres.

# waeg.yaml — aliases named after the models your code already asks for
providers:
  openai:
    provider: openai
    api_key_env: OPENAI_API_KEY
  anthropic:
    provider: anthropic
    api_key_env: ANTHROPIC_API_KEY

models:
  - name: gpt-4o
    deployments:
      - provider: openai
        model_id: gpt-4o

  - name: claude-haiku-4-5
    deployments:
      - provider: anthropic
        model_id: claude-haiku-4-5

Nøgler opløses fra miljøet eller din vault og skrives aldrig ind i filen.

2 · Udsted én gateway-nøgle pr. applikation

Hver applikation får sin egen virtuelle nøgle i stedet for provider-nøglen. Det er det, der gør omkostning pr. applikation, grænser pr. team og tilbagekaldelse af en enkelt service mulig — intet af det kan en fælles provider-nøgle.

3 · Skift base-URL og nøgle

Wäg leverer den OpenAI-kompatible flade — chat completions, Responses API (stateless), embeddings, billeder, lyd, video, OCR, moderations, rerank, filer, batches, realtime og modeller — med ægte SSE-streaming plus /v1/mcp og /v1/a2a til agenter. I applikationen ændres to linjer:

  client = OpenAI(
-     api_key=os.environ["OPENAI_API_KEY"],
+     base_url=os.environ["WAEG_BASE_URL"],   # e.g. https://waeg.internal/v1
+     api_key=os.environ["WAEG_KEY"],         # this application's gateway key
  )

Applikationer bygget på Anthropics eller Geminis egne SDK'er understøttes også: /v1/messages og Geminis /v1beta er førsteklasses request-formater, ikke kun oversættelser af OpenAI-formatet.

4 · Tjek, og flyt så den næste applikation

Send én almindelig, én streaming- og én tool-calling-request, og læs response-headerne: x-waeg-routed-model siger, hvilken model der leverede svaret, x-waeg-route-reason hvorfor (med intelligent routing), og x-waeg-cache om en cache svarede. Requesten ligger allerede i konsollen med sine tokens og sin omkostning.

En fornuftig rækkefølge: interne værktøjer først, så batch- og offline-workloads, så én produktionsservice, så resten.

5 · Tag provider-nøglerne ud af applikationerne

Når alle applikationer går gennem Wäg, så roter provider-nøglerne og slet dem fra applikationsmiljøer, CI-secrets og konfigurationsfiler. Derefter er det kun Wäg, der har dem — det er det meste af sikkerhedsgevinsten, og det trin, teams oftest glemmer.

Hvad du har vundet

• Omkostning pr. applikation, team og bruger, mens den opstår — ikke rekonstrueret fra en faktura.
• Budgetter, der stopper forbruget, før provideren kaldes, ikke dashboards, der bliver røde bagefter.
• Failover til en anden provider eller model, når én er nede.
• Dataregler — maskér, redigér ud, bloker — på hver prompt, også i applikationer, ingen har rørt.
• En registrering af hver request: hvem, hvilken model, hvorfor, hvad den kostede, hvilke regler der blev anvendt.
• Modeller, der tilføjes eller skiftes i konfigurationen, uden at hver applikation skal deployes.

Hvad det koster dig

• Én service mere at drive. Embedded-tilstand kræver intet eksternt, men er single-node og i hukommelsen, til afprøvning; produktion kører på Postgres og OpenFGA, plus Redis, så snart der er flere replicas.
• Ét netværkshop mere. Et par millisekunder mod modelkald på hundredvis af millisekunder til sekunder — og cache-hits kommer hurtigere tilbage end noget fra en provider.
• Nogen skal eje den. Som regel platformteamet, de samme folk, der ejer din øvrige fælles infrastruktur.

Spørgsmål der går igen