Façade in ingresso. Un unico modello nel percorso.

Sei elementi di prima classe, non dedotti

In un gateway modellato sull'HTTP questi elementi si ricavano da un percorso, da un header o dal comportamento dell'SDK di un provider. Qui sono campi di un oggetto di dominio, ed è per questo che policy, routing, caching e contabilizzazione possono ragionarci sopra in modo uniforme.

È quella singola decisione a fare sì che chat, embedding, visione, audio, job video asincroni e sessioni realtime condividano un unico percorso di policy, routing e contabilizzazione anziché sei.

Parlare il dialetto, conservare la fedeltà

I client inviano richieste nella forma di OpenAI, Anthropic o Gemini, oppure direttamente nella forma nativa della richiesta di inferenza. Gli adapter nativi preservano il comportamento specifico di ciascun provider — tool calling, visione, output strutturato — anziché appiattire tutto su una forma da minimo comune denominatore, perdendo capacità ai bordi.

Nove fasi, in un ordine fisso

Ogni richiesta attraversa le stesse fasi. Identità, accesso ai modelli e budget si risolvono prima che venga chiamato qualsiasi cosa; la policy in ingresso viene eseguita prima della cache, così anche una risposta in cache viene controllata; il routing sceglie il deployment; la policy in uscita e quella sugli strumenti agiscono sulla risposta; costi, verdetti e prove vengono registrati all'uscita.

1. 01
   Autenticare

   Chiave virtuale, token dell'agente o token dell'IdP aziendale su /v1 (Enterprise). Risolve organizzazione, team, utente, applicazione ed esecuzione dell'agente.

   ✗ 401
2. 02
   Accesso ai modelli

   I permessi sui modelli, ristretti dalla allow-list della chiave, stabiliscono quali alias può chiamare questa identità.

   ✗ 403
3. 03
   Budget

   Limiti di frequenza e budget vengono riservati su chiave, organizzazione, team, utente, applicazione e modello. Devono passare tutti.

   ✗ 429 — nessuna spesa verso il provider
4. 04
   Policy (pre-chiamata)

   Catena ordinata di guardrail sull'input: PII, injection, moderazione o un vostro webhook. La cache vede il prompt mascherato.

   ✗ BLOCCO · ◑ MASCHERA · ◐ OSCURA
5. 05
   Cache

   Esatta → canonica → quasi-duplicata → semantica, con ogni livello protetto contro i falsi hit. Un hit salta il provider e le fasi di uscita.

   ✓ HIT — risposta restituita, nessuna chiamata al provider
6. 06
   Instradare

   Filtro di capacità, residenza, affinità di sessione, poi la strategia di routing sceglie il deployment. Un failover non esce mai dalle giurisdizioni consentite.

7. 07
   Invocare

   Dialetto del provider, streaming SSE reale, failover sullo stesso alias, poi fallback ordinati; ogni tentativo scrive una voce di uscita nel registro. La policy mid-stream lavora su una finestra scorrevole.

8. 08
   Policy (dopo la chiamata)

   I guardrail in uscita agiscono sulla risposta completa. Le chiamate a strumenti restituite dal modello sono valutate dalla policy sugli strumenti: consentite, rimosse con una nota o rifiutate.

   ✗ 403 · rimossa
9. 09
   Contabilizzare

   I budget vengono saldati, il registro annota l'esito, e token, costi, verdetti e decisione di routing vengono registrati come log delle richieste, trace OTEL e metriche Prometheus.

Un proxy inoltra una richiesta. Questo decide cosa alla richiesta è consentito essere — ed è tutta qui la differenza tra un gateway e una control plane.

Quattro cicli di vita, un solo percorso di policy

Poiché il ciclo di vita è un campo della richiesta e non un dettaglio implementativo di un endpoint, la stessa governance si applica a tutti e quattro.

È la parte che un gateway modellato sull'HTTP non può aggiungere a posteriori senza riscriverlo. Il ciclo di vita deve essere nel modello di dominio prima che la policy possa applicarvisi in modo uniforme.

Quattro piani, separati per scelta

Nativo Kubernetes, non compatibile con Kubernetes

Tutto ciò che sta in un container è compatibile con Kubernetes. Nativo significa che la piattaforma modella ciò che state eseguendo: Wäg fornisce un proprio operator e proprie custom resource, così il gateway è un oggetto che il cluster comprende anziché un deployment messo insieme a mano. Una WaegInstance possiede Deployment, rete, autoscaling e monitoraggio del gateway, e segnala un errore di configurazione come condizione con un motivo; provider, modelli, organizzazioni, budget, guardrail e chiavi possono essere anch'essi custom resource. Poiché budget e limiti di frequenza sono condivisi tramite Redis anziché tenuti per replica, scalare non permette mai di spendere due volte un budget — e l'operator segna come non pronta un'istanza con più repliche API e senza Redis. Richiede Kubernetes 1.28 o successivo, oppure OpenShift 4; c'è un chart Helm se preferite un template a un operator.

Rust nella data plane

Costruito su tokio, hyper e axum con percorsi di streaming zero-copy, distribuito come un unico binario distroless e non-root. Nessun interprete, nessun package manager, nessun runtime Node nel gateway — la console di amministrazione è servita dallo stesso binario. Non c'è alcun router ML nel percorso critico, quindi il routing aggiunge un'analisi deterministica anziché un'inferenza di modello.

Cosa Wäg non è

Lo diciamo apertamente, così potete valutarlo sull'asse giusto e nessuno prenota un incontro aspettandosi il prodotto sbagliato.

• Non è un inference server. Non esegue modelli. Instrada verso quelli che già utilizzate, inclusi endpoint vLLM o Ollama self-hosted, e Wäg Edge governa i modelli che girano sui computer dei membri e nelle app mobili.
• Non è un host di modelli. Nessun peso, nessuna GPU, nessuna pipeline di fine-tuning.
• Non è un database vettoriale. Fa da proxy alle chiamate di embedding e le mette in cache semanticamente; non conserva il vostro corpus.
• Non è un backend di osservabilità. Emette OTEL e Prometheus verso ciò che già utilizzate.
• Non sostituisce un API gateway. Kong ed Envoy governano l'HTTP. Wäg governa token, modelli e azioni degli agenti. Sono livelli complementari, e la maggior parte delle installazioni li usa entrambi.

Vedi la control plane · Vedi i benchmark