Tokenforbrug er en post, du styrer
Stablede forbrugs- og rate limits på tværs af org, team, bruger, applikation, model og nøgle — med fair-share-lofter, soft-budget-advarsler og FinOps-dashboards. Hver request tjekkes mod hver matchende tæller, og den første overtrædelse afvises.
"Stablede forbrugs- og rate limits på tværs af org → team → bruger → app → model → nøgle — den første overtrædelse afvises."
Stablet hierarki
Forbrugs- og rate limits på tværs af org → team → bruger → applikation → model → nøgle. Hver request tjekkes mod alle matchende tællere, og den første overtrædelse afviser den.
Fair-share-lofter
Undergruppelofter som beløb pr. team, pr. bruger og pr. applikation sikrer en fair andel, så ét team aldrig kan brænde hele organisationens pulje af.
Virtuelle nøgler
Token- og beløbsbudgetter pr. nøgle, pr. team og pr. bruger, RPM-grænser og model-allow-lists — med ejertyper for bruger eller service, så attribueringen bliver ren.
Soft budgets og advarsler
Advar ved en procenttærskel via en webhook, før hårde grænser begynder at afvise trafik. Se muren komme, før du rammer den.
FinOps-dashboards
Forbrug fordelt på tenant, model, provider og nøgle. En importérbar prisbog (offline-pakke eller katalogsynkronisering) og genberegning af historisk forbrug.
Chargeback-tags
Attribuér omkostningen tilbage til det team, det produkt eller det omkostningssted, der pådrog sig den — tokenforbrug bliver til en resultatpost, du reelt kan styre.
Trin for trin
- 01
Definér tællerne
Sæt beløbs- og tokenbudgetter og RPM-grænser på ethvert niveau i hierarkiet — org, team, bruger, applikation, model eller den enkelte virtuelle nøgle.
- 02
Tjek ved hver request
Hvert kald evalueres mod hver tæller, der gælder for det. Den første tæller, der ville blive overskredet, afviser requesten. Kan Redis ikke nås, fejler forbrugstællere åbent, medmindre cluster-tilstand er slået til.
- 03
Advar, håndhæv så
Soft-budget-tærskler udløser webhook-advarsler, efterhånden som forbruget stiger; hårde grænser afviser trafik, når loftet er nået.
- 04
Rapportér og fordel
Forbruget ruller op i dashboards pr. tenant, model, provider og nøgle, tagget til chargeback og afstembart mod en prisbog.
budgets:
- { id: org-pool, scope: org, budget_usd: 50000, budget_period: monthly,
per_team_usd: 8000, per_application_usd: 5000 }
- { id: payments, scope: team, team_id: payments, per_user_usd: 500 }
alerts:
soft_budget_pct: 0.8 # warn before the hard limitBudgetter og governance er én af seks kontrolflader, der håndhæves i den samme forespørgselsvej og gælder for alle applikationer bag endpointet — også dem, der aldrig blev instrumenteret.
Se hvordan de spiller sammenÉt endpoint. Alle modeller. Fuld kontrol.
Kør det i jeres egen infrastruktur
Alt, hvad I skal bruge for at drive en control plane i produktion, er Apache-2.0 og bliver ved med at være det — routing, HA, caching, failover, budgetter, policy, MCP, jobs og observability. Self-hosted, ingen konto, ingen phone-home.
$ docker run -p 4000:4000 <registry>/waeg-gateway:<version>Endnu ikke et pull, der virker: images er ikke offentlige endnu. Designpartnere får registry-oplysningerne direkte.
Deploy på 5 minutterVær med til at forme det som designpartner
Wäg er endnu ikke offentligt tilgængelig. Vi arbejder sammen med en lille gruppe teams, der kører multi-provider AI i produktion og tager governance og suverænitet alvorligt, for at hærde vores control plane på reelle workloads.
- Alle Enterprise-funktioner inkluderet, uden licensomkostning
- Praktisk migrering — vi gør det sammen med jer, også fra LiteLLM
- Direkte adgang til de engineers, der bygger det, og reel indflydelse på, hvad der kommer næst