Från direkta API-anrop till en styrd endpoint

Osäker på om ni behöver en gateway än? Den här sidan förklarar vad en gateway gör, och när det fortfarande är bättre att anropa leverantören direkt: Vad är en AI-gateway?

Fem steg, en applikation i taget

1 · Kör Wäg och lägg till era leverantörer

Ge varje leverantör ert befintliga konto och döp aliasen efter de modellnamn er kod redan skickar. Då behöver ingen modellreferens i någon applikation ändras.

# waeg.yaml — aliases named after the models your code already asks for
providers:
  openai:
    provider: openai
    api_key_env: OPENAI_API_KEY
  anthropic:
    provider: anthropic
    api_key_env: ANTHROPIC_API_KEY

models:
  - name: gpt-4o
    deployments:
      - provider: openai
        model_id: gpt-4o

  - name: claude-haiku-4-5
    deployments:
      - provider: anthropic
        model_id: claude-haiku-4-5

Nycklar hämtas från miljön eller ert valv och skrivs aldrig in i filen.

2 · Utfärda en gateway-nyckel per applikation

Varje applikation får en egen virtuell nyckel i stället för leverantörsnyckeln. Det är vad som gör kostnad per applikation, gränser per team och återkallning av en enskild tjänst möjliga — inget av det klarar en delad leverantörsnyckel.

3 · Byt bas-URL och nyckel

Wäg exponerar den OpenAI-kompatibla ytan — chat completions, Responses API (tillståndslös), embeddings, bilder, ljud, video, OCR, moderering, rerank, filer, batchar, realtid och modeller — med äkta SSE-streaming, plus /v1/mcp och /v1/a2a för agenter. I applikationen ändras två rader:

  client = OpenAI(
-     api_key=os.environ["OPENAI_API_KEY"],
+     base_url=os.environ["WAEG_BASE_URL"],   # e.g. https://waeg.internal/v1
+     api_key=os.environ["WAEG_KEY"],         # this application's gateway key
  )

Applikationer byggda på Anthropics eller Geminis egna SDK:er stöds också: /v1/messages och Geminis /v1beta är förstklassiga request-former, inte bara översättningar av OpenAI-formen.

4 · Kontrollera, flytta sedan nästa applikation

Skicka en vanlig request, en streaming-request och en med verktygsanrop, och läs svarshuvudena: x-waeg-routed-model anger vilken modell som svarade, x-waeg-route-reason varför (med intelligent routing), och x-waeg-cache om en cache besvarade den. Requesten finns redan i konsolen med sina tokens och sin kostnad.

En rimlig ordning: interna verktyg först, sedan batch- och offlinearbetslaster, sedan en produktionstjänst, sedan resten.

5 · Ta bort leverantörsnycklarna ur applikationerna

När varje applikation går via Wäg roterar ni leverantörsnycklarna och tar bort dem ur applikationsmiljöer, CI-hemligheter och konfigurationsfiler. Därefter är det bara Wäg som håller dem — vilket är det mesta av säkerhetsvinsten, och steget som team oftast glömmer.

Vad ni vann

• Kostnad per applikation, team och användare medan den uppstår — inte rekonstruerad från en faktura.
• Budgetar som stoppar utgifterna innan leverantören anropas, inte dashboards som blir röda efteråt.
• Failover till en annan leverantör eller modell när en ligger nere.
• Dataregler — maskera, redigera, blockera — som gäller varje prompt, även i applikationer som ingen rörde.
• En post över varje request: vem, vilken modell, varför, vad den kostade, vilka regler som gällde.
• Modeller som läggs till eller byts i konfigurationen, utan att varje applikation driftsätts på nytt.

Vad det kostar er

• Ännu en tjänst att drifta. Inbäddat läge behöver ingenting externt men körs på en nod och i minnet, för tester; produktion körs på Postgres och OpenFGA, plus Redis när det finns flera repliker.
• Ännu ett nätverkshopp. Några millisekunder mot modellanrop på hundratals millisekunder till sekunder — och cacheträffar kommer tillbaka snabbare än från någon leverantör.
• Någon måste äga den. Oftast plattformsteamet, samma personer som äger er övriga delade infrastruktur.

Frågor som brukar dyka upp