La spesa in token è una voce che controlli
Limiti di spesa e di frequenza sovrapposti su org, team, utente, applicazione, modello e chiave — con tetti di equa ripartizione, avvisi di budget morbido e dashboard FinOps. Ogni richiesta è verificata rispetto a ogni contatore corrispondente, e la prima violazione viene rifiutata.
"Limiti di spesa e di frequenza sovrapposti su org → team → utente → app → modello → chiave — la prima violazione viene rifiutata."
Gerarchia impilata
Limiti di spesa e di frequenza su org → team → utente → applicazione → modello → chiave. Ogni richiesta è verificata rispetto a tutti i contatori corrispondenti, e la prima violazione la respinge.
Soglie di quota equa
Tetti per sottogruppo, come i dollari per team, per utente e per applicazione, garantiscono un'equa ripartizione: un team non può mai esaurire l'intero budget dell'organizzazione.
Chiavi virtuali
Budget in token e dollari per chiave, per team e per utente, limiti RPM ed elenchi di modelli consentiti — con tipi di proprietario utente o servizio per un'attribuzione pulita.
Soft budget e avvisi
Avvisa a una soglia percentuale tramite webhook prima che i limiti rigidi inizino a rifiutare traffico. Vedi il muro arrivare prima di sbatterci contro.
Dashboard FinOps
Spesa per tenant, modello, provider e chiave. Un listino prezzi importabile (pacchetto offline o sync del catalogo) e ricalcolo storico della spesa.
Etichette di riaddebito
Attribuisci il costo al team, al prodotto o al centro di costo che l'ha generato — la spesa in token diventa una voce di conto economico che puoi davvero gestire.
Passo dopo passo
- 01
Definire i contatori
Imposta budget in dollari e token e limiti RPM a qualsiasi livello della gerarchia — org, team, utente, applicazione, modello o singola chiave virtuale.
- 02
Verificare a ogni richiesta
Ogni chiamata è valutata rispetto a ogni contatore che la riguarda. Il primo contatore che verrebbe superato respinge la richiesta. Se Redis non è raggiungibile, i contatori di spesa falliscono in modo aperto, salvo che sia impostata la modalità cluster.
- 03
Avvisare, poi applicare
Le soglie di soft budget attivano avvisi webhook man mano che l'uso cresce; i limiti rigidi rifiutano traffico una volta raggiunto il tetto.
- 04
Rendicontare e riaddebitare
La spesa si aggrega in dashboard per tenant, modello, provider e chiave, etichettata per il riaddebito e riconciliabile con un listino prezzi.
budgets:
- { id: org-pool, scope: org, budget_usd: 50000, budget_period: monthly,
per_team_usd: 8000, per_application_usd: 5000 }
- { id: payments, scope: team, team_id: payments, per_user_usd: 500 }
alerts:
soft_budget_pct: 0.8 # warn before the hard limitBudget e governance è una delle sei superfici di controllo applicate nello stesso percorso della richiesta, valide per ogni applicazione dietro l'endpoint — comprese quelle mai strumentate.
Vedi come si combinanoUn endpoint. Tutti i modelli. Controllo completo.
Gestitelo nella vostra infrastruttura
Tutto ciò che serve per gestire una control plane in produzione è sotto Apache-2.0 e lo resterà — routing, alta disponibilità, cache, failover, budget, policy, MCP, job e osservabilità. Self-hosted, senza account, senza chiamate verso l'esterno.
$ docker run -p 4000:4000 <registry>/waeg-gateway:<version>Non è un pull funzionante: le immagini non sono ancora pubbliche. I partner di progettazione ricevono i dettagli del registry in forma privata.
Avvia in 5 minutiContribuite come design partner
Wäg non è ancora disponibile pubblicamente. Lavoriamo con un piccolo gruppo di team che gestiscono IA multi-provider in produzione e prendono sul serio governance e sovranità, per irrobustire la control plane su carichi reali.
- Tutte le funzioni Enterprise incluse, senza costi di licenza
- Migrazione assistita — la facciamo insieme a voi, anche da LiteLLM
- Una linea diretta con gli ingegneri e un'influenza reale su ciò che arriva dopo