Façades erin. Eén model erdoorheen.

Zes zaken die first-class zijn in plaats van afgeleid

In een HTTP-gevormd gateway worden deze afgeleid uit een pad, een header of het gedrag van een provider-SDK. Hier zijn het velden op een domeinobject — daarom kunnen policy, routing, caching en kostentoerekening er uniform over redeneren.

Die ene beslissing is de reden dat chat, embeddings, vision, audio, asynchrone videojobs en realtime-sessies één gedeeld pad voor policy, routing en kostentoerekening gebruiken in plaats van zes.

Spreek het dialect, behoud de getrouwheid

Clients sturen requests in OpenAI-, Anthropic- of Gemini-vorm, of direct in de native inference-request-vorm. Native adapters behouden providerspecifiek gedrag — tool calling, vision, gestructureerde output — in plaats van alles gelijk te schakelen via één kleinste gemene deler en zo functionaliteit aan de randen te verliezen.

Negen fasen, in vaste volgorde

Elk request doorloopt dezelfde fasen. Identiteit, modeltoegang en budget worden bepaald voordat er iets wordt aangeroepen; input-policy draait vóór de cache, zodat ook een gecachet antwoord is gescreend; routing kiest de deployment; output- en toolbeleid draaien op het antwoord; kosten, verdicts en bewijs vallen op de terugweg aan.

1. 01
   Authenticeren

   Virtuele key, agent-token of een bedrijfs-IdP-token op /v1 (Enterprise). Bepaalt org, team, gebruiker, applicatie en agentrun.

   ✗ 401
2. 02
   Modeltoegang

   Modelrechten, ingeperkt door de allowlist van de key, bepalen welke aliassen deze identiteit mag aanroepen.

   ✗ 403
3. 03
   Budget

   Rate limits en budgetten worden gereserveerd op key, org, team, gebruiker, applicatie en model. Ze moeten allemaal slagen.

   ✗ 429 — geen providerkosten
4. 04
   Policy (vóór de call)

   Geordende guardrail-keten op de input: PII, injection, moderatie of uw eigen webhook. De cache ziet de gemaskeerde prompt.

   ✗ BLOKKEREN · ◑ MASKEREN · ◐ REDIGEREN
5. 05
   Cache

   Exact → canoniek → near-dup → semantisch, elke tier beveiligd tegen valse treffers. Een treffer slaat de provider en de outputfasen over.

   ✓ HIT — retour, geen provider-call
6. 06
   Routeren

   Capability-filter, residentie, sessie-affiniteit, en dan kiest de routingstrategie de deployment. Een failover verlaat nooit de toegestane jurisdicties.

7. 07
   Aanroepen

   Providerdialect, echte SSE-streaming, failover binnen dezelfde alias, dan geordende fallbacks; elke poging schrijft een egress-regel in het register. Mid-stream policy draait op een schuivend venster.

8. 08
   Policy (na de call)

   Output-guardrails draaien op het volledige antwoord. Toolaanroepen die het model teruggeeft, worden beoordeeld door het toolbeleid: toegestaan, verwijderd met een notitie, of geweigerd.

   ✗ 403 · verwijderd
9. 09
   Afrekenen

   Budgetten worden verrekend, het register legt de uitkomst vast, en tokens, kosten, verdicts en de routingbeslissing landen als requestlogs, OTEL-traces en Prometheus-metrics.

Een proxy stuurt een request door. Dit bepaalt wat het request mag zijn — en daarin zit precies het verschil tussen een gateway en een control plane.

Vier levenscycli, één policy-pad

Omdat de levenscyclus een veld op het request is en geen implementatiedetail van een endpoint, geldt voor alle vier dezelfde governance.

Dit is het deel dat een HTTP-gevormd gateway niet zonder herbouw kan bijbouwen. De levenscyclus moet in het domeinmodel zitten voordat policy er uniform op kan werken.

Vier planes, bewust gescheiden

Kubernetes-native, niet Kubernetes-compatibel

Alles in een container is Kubernetes-compatibel. Native betekent dat het platform modelleert wat u draait: Wäg levert een eigen operator en eigen custom resources, zodat de gateway een object is dat het cluster begrijpt in plaats van een deployment dat iemand aan elkaar heeft geknoopt. Een WaegInstance beheert de Deployments, networking, autoscaling en monitoring van de gateway, en meldt een misconfiguratie als condition met een reden; providers, modellen, organisaties, budgetten, guardrails en keys kunnen ook custom resources zijn. Omdat budgetten en rate limits via Redis worden gedeeld in plaats van per replica worden bijgehouden, wordt een budget bij opschalen nooit dubbel uitgegeven — en de operator markeert een instantie met meerdere API-replica's zonder Redis als niet gereed. Vereist is Kubernetes 1.28 of nieuwer, of OpenShift 4; wie liever templatet dan beheert, heeft de Helm-chart.

Rust in de data plane

Gebouwd op tokio, hyper en axum met zero-copy streaming-paden, uitgeleverd als één distroless, non-root binary. Geen interpreter, geen package manager, geen Node-runtime in de gateway — de admin console wordt door dezelfde binary geserveerd. Er zit geen ML-router in het hot path, dus routing kost deterministische analyse in plaats van model-inferentie.

Wat Wäg niet is

Duidelijk benoemd, zodat u het op de juiste as beoordeelt en niemand een briefing boekt met de verkeerde verwachting.

• Geen inference-server. Het draait geen modellen. Het routeert naar de modellen die u al gebruikt, inclusief self-hosted vLLM- of Ollama-endpoints, en Wäg Edge stuurt modellen die op de computers en in de mobiele apps van uw leden draaien.
• Geen modelhosting. Geen gewichten, geen GPU's, geen fine-tuning-pipeline.
• Geen vectordatabase. Het proxyt embedding-calls en cachet semantisch; het slaat uw corpus niet op.
• Geen observability-backend. Het levert OTEL en Prometheus aan wat u toch al draait.
• Geen vervanging van een API-gateway. Kong en Envoy sturen HTTP aan. Wäg stuurt tokens, modellen en agentacties aan. Het zijn complementaire lagen, en de meeste landschappen draaien beide.

Bekijk de control plane · Bekijk de benchmarks