Wat is een AI gateway?
Een AI gateway is één gedeeld toegangspunt tussen uw applicaties en de AI-modellen die ze gebruiken — OpenAI, Anthropic, Mistral, of modellen die u zelf draait. In plaats van dat elke applicatie eigen keys bewaart en eigen beslissingen neemt, loopt elk request via één plek waar toegang, kosten, dataregels en de vastlegging van wat er gebeurde één keer worden geregeld, voor iedereen.
Dezelfde drie applicaties, twee keer
Zonder gateway
- Elke applicatie bewaart eigen providerkeys — en elke daarvan is een plek waar een key kan lekken.
- Elk team bouwt eigen retries, limieten en logging, telkens net een beetje anders.
- De kosten komen binnen als één factuur per provider, zonder regel voor het team of de functie die ze veroorzaakte.
- Een provider toevoegen of wisselen betekent de code van elke applicatie aanpassen.
Met gateway
- Providerkeys staan op één plek. Applicaties krijgen eigen gatewaykeys, die u kunt intrekken zonder de provider aan te raken.
- Retries, failover en caching gebeuren één keer, op dezelfde manier, voor elke applicatie.
- Elk request wordt direct toegewezen aan een team, een applicatie en een gebruiker.
- Modellen voegt u toe of wisselt u in de configuratie. De applicatiecode blijft ongewijzigd.
Vijf dingen gebeuren met elk request
De details verschillen per product, maar het patroon is hetzelfde: eerst de controles, in het midden de modelcall, aan het eind de vastlegging. Een request dat een controle niet doorstaat, stopt voordat iemand ervoor betaalt.
- Nagaan wie het vraagt. De applicatie toont haar eigen gatewaykey, of de bedrijfslogin van een gebruiker. Onbekende aanvragers worden geweigerd. ✗ geweigerd
- De limieten controleren. Zit dit team binnen zijn budget en zijn rate limit? Zo niet, dan stopt het request hier — voordat de provider wordt aangeroepen. ✗ budget op
- De regels toepassen. Organisatiebrede regels draaien op de prompt — bijvoorbeeld persoonsgegevens maskeren, of voorkomen dat ze naar een externe provider gaan. ✗ geblokkeerd · ◑ gemaskeerd
- Een model kiezen en aanroepen. De gateway kiest welke provider en welk model het request afhandelt, en gaat door naar de volgende als een provider traag is of uitvalt.
- Vastleggen wat er gebeurde. Wie het vroeg, welk model antwoordde, wat het kostte en welke regels golden — voor elk request opgeschreven, niet achteraf gereconstrueerd.
Dit is de vereenvoudigde versie. Het volledige request-pad van Wäg heeft negen fasen, inclusief caching en toolbeleid op toolaanroepen van agents: bekijk het request-pad, fase voor fase.
Meestal begint het met een van deze situaties
Niemand koopt een gateway omdat de categorie bestaat. Ze kopen er een omdat er iets uit deze lijst is gebeurd.
| Wat u merkt | Wat een gateway eraan doet | Lees meer |
|---|---|---|
| De AI-rekening verdubbelde, en niemand kan zeggen welk team dat veroorzaakte. | Wijst de kosten van elk request toe aan een team, een applicatie en een gebruiker, en stopt de uitgaven bij een limiet die u instelt. | Kosten en budgetten |
| Providerkeys staan in een dozijn configbestanden en CI-secrets. | Bewaart providerkeys op één plek. Applicaties krijgen gatewaykeys die u kunt afbakenen, roteren en intrekken. | Beveiligingshouding |
| Een storing bij een provider haalde een functie voor klanten mee onderuit. | Probeert opnieuw en schakelt automatisch over op een andere provider of een ander model. | Routing en failover |
| Iemand vroeg of klantgegevens naar een extern model gaan, en niemand wist het. | Past dataregels toe op elke prompt — maskeren, redigeren of blokkeren — voordat die vertrekt. | Policy en guardrails |
| Elk team koos een eigen model, en de meeste kiezen standaard het duurste. | Stuurt elk request naar het goedkoopste model dat het aankan, op basis van beleid in plaats van gewoonte. | Intelligent routing |
| Een auditor, een klant of de EU AI Act vraagt wat uw AI-systemen werkelijk hebben gedaan. | Legt elk request vast: wie het vroeg, welk model antwoordde, wat het kostte en welke regels golden. | EU AI Act en logging |
| Agents roepen nu tools en interne systemen aan met echte credentials. | Laat toolcalls van agents door dezelfde identiteit, policy en vastlegging lopen als modelcalls. Niet elke gateway doet dit — vraag ernaar. | Agentgovernance |
Meestal één regel
De meeste gateways spreken de OpenAI-API, die vrijwel elke AI-SDK en elk framework al ondersteunt. Er een invoeren betekent het adres wijzigen waarnaar uw applicatie requests stuurt, en de key waarmee ze worden verstuurd.
client = OpenAI(
- base_url="https://api.openai.com/v1",
- api_key=os.environ["OPENAI_API_KEY"],
+ base_url="https://ai-gateway.internal/v1",
+ api_key=os.environ["GATEWAY_KEY"],
)Prompts, SDK en verwerking van antwoorden blijven zoals ze zijn. Een goede gateway vertaalt ook voor providers met een andere API, zoals Anthropic of Gemini, zodat de applicatie nooit hoeft te weten welke provider antwoordde.
De keuze die de meeste mensen niet weten te maken
Een gateway ziet elke prompt en elk antwoord dat erlangs komt. De eerste vraag is dus niet welke functies hij heeft, maar op wiens infrastructuur hij draait.
| Vraag | Gehost — een leverancier draait het | Zelf gehost — u draait het |
|---|---|---|
| Waar prompts en antwoorden langsgaan | Via het netwerk en de systemen van de leverancier, op weg naar de provider | Nergens nieuw — ze blijven binnen uw infrastructuur totdat ze de door u gekozen provider bereiken |
| Wie uw providerkeys bewaart | De leverancier | U |
| Tijd tot het eerste request | Minuten — aanmelden en de base-URL wijzigen | Langer — u moet het eerst uitrollen |
| Wie het draaiend houdt | De leverancier | Uw team, meestal het platformteam |
| De juiste keuze wanneer | Snelheid het zwaarst weegt en de data niet gevoelig is | Gegevensbescherming, regelgeving of inkoopregels een derde partij in het request-pad uitsluiten |
Niet altijd
U één applicatie, één provider en één team hebt, en niemand buiten engineering vraagt naar AI-uitgaven of data. Rechtstreeks de provider aanroepen is dan eenvoudiger, en eenvoud is een kwaliteit. Kom terug wanneer dat verandert.
Ga zoeken wanneer een van deze dingen gebeurt:
- Er komt een tweede team, of een tweede provider.
- Iemand vraagt wat AI per team of per product kost, en het antwoord duurt een week.
- Gegevensbescherming of security vraagt waar prompts naartoe gaan.
- Een storing bij één provider wordt uw storing.
- Agents gaan met echte credentials op uw systemen handelen.
Wanneer een gateway niet genoeg is
Een gateway stuurt de applicaties aan die ervoor kiezen ernaar te wijzen. Zodra AI gedeelde infrastructuur wordt — veel teams, agents met echte bevoegdheden, auditors die vragen stellen — verandert de vraag van hoe requests worden doorgestuurd naar wie bepaalt wat een request mag zijn, voor de hele organisatie. Dat is de grens tussen een AI gateway en een AI control plane.
Een AI gateway die u zelf draait
Wäg is een open-source AI gateway die volledig in uw eigen infrastructuur draait: geen gehoste versie, geen leverancier in het request-pad, geen phone-home. Hij spreekt de OpenAI-API, verbindt met 25+ OpenAI-compatibele providers plus native Anthropic en Gemini, en voegt de control-planelaag toe — identiteit, hiërarchische budgetten, policy, agentgovernance en audit — in hetzelfde request-pad. Apache-2.0, geschreven in Rust.
Draait u al LiteLLM of een andere gateway? Wäg importeert LiteLLM-configuratie, en de migratiegids beschrijft hoe u beide naast elkaar draait voordat u overstapt.
Wat mensen als eerste vragen
Is een AI gateway hetzelfde als een LLM-proxy?
Grotendeels. LLM-proxy, AI-proxy, LLM-gateway en AI gateway beschrijven allemaal één endpoint vóór meerdere modelproviders. Gateway impliceert meestal meer dan doorsturen — keys, limieten, regels en vastlegging — maar de termen worden niet consequent gebruikt. Kijk dus wat een product daadwerkelijk afdwingt, niet hoe het heet.
Hoe verschilt het van een API-gateway?
Een API-gateway beheert requests: routing, authenticatie en rate limits per call. Een AI gateway begrijpt ook wat er in een modelrequest zit — tokens, de prijs per model, gestreamde antwoorden, prompts die persoonsgegevens kunnen bevatten, en providers die voor elkaar kunnen inspringen. Sommige API-gateways voegen inmiddels AI-functies toe; de nuttige vraag is of ze tokens en kosten tellen, of alleen requests.
Moet ik mijn applicatiecode aanpassen?
Meestal alleen de base-URL en de key, mits de gateway de OpenAI-API spreekt en uw applicatie een OpenAI-compatibele SDK of framework gebruikt — wat de meeste doen.
Vertraagt het requests?
Het voegt een netwerkhop toe, dus er komt wat tijd bij. Een goed gebouwde gateway voegt milliseconden toe, tegenover modelantwoorden die honderden milliseconden tot enkele seconden duren, en een cachehit kan een request veel sneller maken dan een directe call naar de provider. Vraag elke leverancier om overhead gemeten met logging en budgetten ingeschakeld, niet uitgeschakeld.
Is het niet een single point of failure?
Alleen als het als één instantie draait. Productiegateways draaien als meerdere stateless instanties achter een load balancer, en failover tussen providers voorkomt doorgaans meer storingen dan de gateway toevoegt.
Ziet de leverancier van de gateway mijn prompts?
Bij een gehoste gateway wel: prompts en antwoorden lopen via de systemen van de leverancier. Bij een zelf gehoste gateway zit de leverancier helemaal niet in het request-pad — de software draait in uw infrastructuur en praat alleen met de providers die u configureert.
Kan het naar modellen routeren die we zelf hosten?
Ja, als die modellen een OpenAI-compatibele API aanbieden, zoals vLLM, Ollama en de meeste inference-servers doen. De gateway behandelt ze als elke andere provider, zodat on-premises en cloudmodellen achter hetzelfde endpoint en dezelfde regels staan. Voor modellen op de eigen computers van medewerkers of in mobiele apps legt Wäg Edge de lokale calls vast en rapporteert ze aan de gateway.
Één endpoint. Elk model. Volledige controle.
Draai het in uw eigen infrastructuur
Alles wat u nodig hebt om een control plane in productie te draaien staat onder Apache-2.0 en blijft dat ook — routing, HA, caching, failover, budgetten, policy, MCP, jobs en observability. Self-hosted, zonder account, zonder phone-home.
$ docker run -p 4000:4000 <registry>/waeg-gateway:<version>Geen werkende pull: de images zijn nog niet openbaar. Ontwerppartners krijgen de registrygegevens vertrouwelijk.
Implementeer in 5 minutenBepaal mee als design partner
Wäg is nog niet publiek beschikbaar. We werken met een kleine groep teams die multi-provider AI in productie draaien en governance en soevereiniteit serieus nemen, om de control plane te harden op echte workloads.
- Alle Enterprise-functies inbegrepen, zonder licentiekosten
- Migratie die we samen met u doen — ook vanaf LiteLLM
- Een directe lijn naar de engineers die het bouwen, en echte invloed op wat er als volgende komt