Vad är en AI-gateway?
En AI-gateway är en gemensam ingång mellan era applikationer och de AI-modeller de använder — OpenAI, Anthropic, Mistral eller modeller ni kör själva. I stället för att varje applikation har egna nycklar och fattar egna beslut passerar varje request en och samma plats, där åtkomst, kostnad, dataregler och spåret av vad som hände hanteras en gång, för alla.
Samma tre applikationer, två gånger
Utan gateway
- Varje applikation har egna leverantörsnycklar — och varje sådan nyckel är ett ställe där den kan läcka.
- Varje team bygger egna omförsök, gränser och loggning, alla lite olika.
- Kostnaderna kommer som en faktura per leverantör, utan rad för det team eller den funktion som orsakade dem.
- Att lägga till eller byta leverantör innebär kodändringar i varje applikation.
Med gateway
- Leverantörsnycklarna finns på ett ställe. Applikationerna får egna gateway-nycklar som kan återkallas utan att leverantören berörs.
- Omförsök, failover och cachning sker en gång, på samma sätt, för alla applikationer.
- Varje request hänförs till ett team, en applikation och en användare medan den sker.
- Modeller läggs till eller byts i konfigurationen. Applikationskoden ändras inte.
Fem saker händer med varje request
Detaljerna skiljer sig mellan produkter, men formen är densamma: kontrollerna först, modellanropet i mitten, spåret sist. En request som inte klarar en kontroll stoppas innan någon debiteras för den.
- Kontrollera vem som frågar. Applikationen visar upp sin egen gateway-nyckel, eller en användares företagsinloggning. Okända anropare nekas. ✗ nekad
- Kontrollera gränserna. Ligger teamet inom sin budget och sin hastighetsgräns? Annars stoppas requesten här — innan leverantören kontaktas. ✗ över budget
- Tillämpa reglerna. Organisationsgemensamma regler körs på prompten — till exempel att maskera personuppgifter eller hindra dem från att lämna till en extern leverantör. ✗ blockerad · ◑ maskerad
- Välj en modell och anropa den. Gatewayen väljer vilken leverantör och modell som betjänar requesten, och går vidare till nästa om en leverantör är långsam eller nere.
- Registrera vad som hände. Vem som frågade, vilken modell som svarade, vad det kostade och vilka regler som gällde — nedskrivet för varje request, inte rekonstruerat i efterhand.
Det här är den förenklade versionen. Wägs fullständiga requestväg har nio steg, inklusive cachning och verktygspolicy för agenters verktygsanrop: se requestvägen, steg för steg.
Det börjar oftast med något av det här
Ingen köper en gateway för att kategorin finns. De köper en för att något på den här listan har hänt.
| Det ni märker | Vad en gateway gör åt det | Läs mer |
|---|---|---|
| AI-fakturan dubblades, och ingen kan säga vilket team som orsakade det. | Hänför kostnaden för varje request till ett team, en applikation och en användare, och stoppar utgifterna vid en gräns som ni sätter. | Kostnad och budgetar |
| Leverantörsnycklar är inklistrade i ett dussin konfigurationsfiler och CI-hemligheter. | Håller leverantörsnycklarna på ett ställe. Applikationerna får gateway-nycklar som ni kan avgränsa, rotera och återkalla. | Säkerhetsläge |
| Ett avbrott hos en leverantör tog med sig en kundvänd funktion. | Gör omförsök och växlar automatiskt över till en annan leverantör eller modell. | Routing och failover |
| Någon frågade om kunddata skickas till en extern modell, och ingen visste. | Tillämpar dataregler på varje prompt — maskera, redigera bort eller blockera — innan den lämnar. | Policy och guardrails |
| Varje team valde sin egen modell, och de flesta väljer som standard den dyraste. | Routar varje request till den billigaste modell som klarar den, enligt policy snarare än vana. | Intelligent routing |
| En revisor, en kund eller EU:s AI-förordning frågar vad era AI-system faktiskt gjorde. | För ett spår över varje request: vem som frågade, vilken modell som svarade, vad det kostade, vilka regler som gällde. | EU:s AI-förordning och loggning |
| Agenter anropar nu verktyg och interna system med riktiga behörigheter. | Låter agenters verktygsanrop gå genom samma identitet, policy och spår som modellanrop. Inte alla gateways gör det — fråga. | Agentstyrning |
Oftast en rad
De flesta gateways talar OpenAI-API:t, som nästan alla AI-SDK:er och ramverk redan stöder. Att ta en i bruk innebär att byta adressen som applikationen skickar requests till, och nyckeln den skickar med.
client = OpenAI(
- base_url="https://api.openai.com/v1",
- api_key=os.environ["OPENAI_API_KEY"],
+ base_url="https://ai-gateway.internal/v1",
+ api_key=os.environ["GATEWAY_KEY"],
)Prompter, SDK och hantering av svar förblir som de är. En bra gateway översätter också åt leverantörer med ett annat API, som Anthropic eller Gemini, så att applikationen aldrig behöver veta vilken leverantör som svarade.
Beslutet som de flesta inte vet att de fattar
En gateway ser varje prompt och varje svar som passerar. Därför är den första frågan inte vilka funktioner den har, utan vems infrastruktur den körs på.
| Fråga | Hostad — en leverantör driver den | Självhostad — ni driver den |
|---|---|---|
| Vart prompter och svar tar vägen | Genom leverantörens nätverk och system, på väg till AI-leverantören | Ingenstans nytt — de stannar i er infrastruktur tills de når den leverantör ni valde |
| Vem som håller era leverantörsnycklar | Leverantören | Ni |
| Tid till första requesten | Minuter — registrera er och byt bas-URL | Längre — ni driftsätter den först |
| Vem som håller den igång | Leverantören | Ert team, oftast plattformsteamet |
| Rätt val när | Snabbhet väger tyngst och datan inte är känslig | Dataskydd, reglering eller upphandlingsregler utesluter en tredje part i requestvägen |
Inte alltid
Ni har en applikation, en leverantör och ett team, och ingen utanför utvecklingen frågar om AI-kostnader eller data. Då är det enklare att anropa leverantören direkt, och enkelhet är en fördel. Kom tillbaka när det ändras.
Börja titta när något av det här inträffar:
- Ett andra team, eller en andra leverantör, tillkommer.
- Någon frågar vad AI kostar per team eller produkt, och svaret tar en vecka.
- Dataskydd eller säkerhet frågar vart prompterna går.
- Ett avbrott hos en leverantör blir ert avbrott.
- Agenter börjar agera i era system med riktiga behörigheter.
När en gateway inte räcker
En gateway styr de applikationer som väljer att peka på den. När AI blir gemensam infrastruktur — många team, agenter med verklig befogenhet, revisorer som ställer frågor — ändras frågan från hur requests vidarebefordras till vem som avgör vad en request får vara, för hela organisationen. Det är gränsen mellan en AI-gateway och en AI control plane.
En AI-gateway som ni driver själva
Wäg är en AI-gateway med öppen källkod som körs helt i er egen infrastruktur: ingen hostad version, ingen leverantör i requestvägen, ingen phone-home. Den talar OpenAI-API:t, ansluter till 25+ OpenAI-kompatibla leverantörer samt nativ Anthropic och Gemini, och lägger till control plane-lagret — identitet, hierarkiska budgetar, policy, agentstyrning och revision — i samma requestväg. Apache-2.0, skriven i Rust.
Kör ni redan LiteLLM eller en annan gateway? Wäg importerar LiteLLM-konfiguration, och migreringsguiden beskriver hur ni kör båda sida vid sida innan ni byter.
Det folk frågar först
Är en AI-gateway samma sak som en LLM-proxy?
I stort sett. LLM-proxy, AI-proxy, LLM-gateway och AI-gateway beskriver alla en endpoint framför flera modellleverantörer. Gateway antyder oftast mer än vidarebefordran — nycklar, gränser, regler och ett spår — men begreppen används inte konsekvent, så kontrollera vad en produkt faktiskt tillämpar i stället för vad den kallas.
Hur skiljer den sig från en API-gateway?
En API-gateway hanterar anrop: routing, autentisering och hastighetsgränser per anrop. En AI-gateway förstår också vad som finns i en modellrequest — tokens, priset per modell, strömmade svar, prompter som kan innehålla personuppgifter och leverantörer som kan ersätta varandra. Vissa API-gateways har fått AI-funktioner; den användbara frågan är om de räknar tokens och kostnad, eller bara anrop.
Måste jag ändra min applikationskod?
Oftast bara bas-URL:en och nyckeln, förutsatt att gatewayen talar OpenAI-API:t och att applikationen använder ett OpenAI-kompatibelt SDK eller ramverk — vilket de flesta gör.
Gör den requests långsammare?
Den lägger till ett nätverkssteg och därmed lite tid. En väl byggd gateway lägger till millisekunder, mot modellsvar som tar hundratals millisekunder till flera sekunder, och en cacheträff kan göra en request mycket snabbare än att anropa leverantören. Be varje leverantör om overhead mätt med loggning och budgetar påslagna, inte avslagna.
Är den inte en enskild felpunkt?
Bara om den körs som en enda instans. Gateways i produktion körs som flera tillståndslösa instanser bakom en lastbalanserare, och failover mellan leverantörer tar vanligtvis bort fler avbrott än gatewayen tillför.
Ser gateway-leverantören mina prompter?
Med en hostad gateway, ja: prompter och svar passerar leverantörens system. Med en självhostad gateway finns leverantören inte alls i requestvägen — programvaran körs i er infrastruktur och pratar bara med de leverantörer ni konfigurerar.
Kan den routa till modeller vi hostar själva?
Ja, om modellerna exponerar ett OpenAI-kompatibelt API, vilket vLLM, Ollama och de flesta inferensservrar gör. Gatewayen behandlar dem som vilken annan leverantör som helst, så lokala modeller och molnmodeller ligger bakom samma endpoint och samma regler. För modeller på de anställdas egna datorer eller i mobilappar registrerar Wäg Edge de lokala anropen och rapporterar dem till gatewayen.
En endpoint. Alla modeller. Full kontroll.
Kör den i er egen infrastruktur
Allt ni behöver för att köra en control plane i produktion är Apache-2.0 och förblir det — routing, HA, cache, failover, budgetar, policy, MCP, jobb och observability. Self-hosted, inget konto, ingen phone-home.
$ docker run -p 4000:4000 <registry>/waeg-gateway:<version>Ingen fungerande pull: avbilderna är inte publika än. Designpartner får registeruppgifterna privat.
Driftsätt på 5 minuterForma den som design partner
Wäg är ännu inte publikt släppt. Vi arbetar med en liten grupp team som kör AI från flera leverantörer i produktion och tar styrning och suveränitet på allvar, för att härda control plane:n mot verkliga arbetslaster.
- Alla Enterprise-funktioner ingår, utan licenskostnad
- Praktisk migrering — vi gör den tillsammans med er, även från LiteLLM
- En direktlinje till ingenjörerna som bygger den, och verkligt inflytande över vad som kommer härnäst