Tokenkostnad är en post du styr
Staplade kostnads- och frekvensgränser över org, team, användare, applikation, modell och nyckel — med tak för rättvis andel, varningar vid mjuka budgetgränser och FinOps-dashboards. Varje request kontrolleras mot varje matchande räknare, och första överträdelsen nekas.
"Staplade kostnads- och frekvensgränser över org → team → användare → app → modell → nyckel — första överträdelsen nekas."
Staplad hierarki
Kostnads- och frekvensgränser över org → team → användare → applikation → modell → nyckel. Varje request kontrolleras mot alla matchande räknare, och första överträdelsen avvisar den.
Tak för rättvis andel
Undergruppstak som belopp per team, per användare och per applikation garanterar rättvis andel, så att ett team aldrig kan bränna hela organisationens pott.
Virtuella nycklar
Budgetar i tokens och pengar per nyckel, team och användare, RPM-gränser och tillåtna modeller — med ägartyperna användare eller tjänst för ren attribution.
Mjuka budgetar och varningar
Varna vid en procentuell tröskel via en webhook innan hårda gränser börjar avvisa trafik. Se väggen komma innan ni kör in i den.
FinOps-dashboards
Kostnad per tenant, modell, leverantör och nyckel. En importerbar prislista (offlinepaket eller katalogsynk) och omräkning av historisk kostnad.
Taggar för intern debitering
Fördela kostnaden tillbaka till teamet, produkten eller kostnadsstället som orsakade den — tokenkostnad blir en post i resultaträkningen som faktiskt går att styra.
Steg för steg
- 01
Definiera räknarna
Sätt budgetar i pengar och tokens samt RPM-gränser på vilken nivå som helst i hierarkin — org, team, användare, applikation, modell eller enskild virtuell nyckel.
- 02
Kontrollera vid varje request
Varje anrop utvärderas mot varje räknare som gäller det. Den första räknare som skulle överskridas avvisar requesten. Om Redis inte går att nå släpper kostnadsräknarna igenom, om inte klusterläget är påslaget.
- 03
Varna, tillämpa sedan
Mjuka budgettrösklar utlöser webhook-varningar när användningen stiger; hårda gränser avvisar trafik när taket är nått.
- 04
Rapportera och debitera internt
Kostnaden rullas upp i dashboards per tenant, modell, leverantör och nyckel, taggad för intern debitering och avstämbar mot en prislista.
budgets:
- { id: org-pool, scope: org, budget_usd: 50000, budget_period: monthly,
per_team_usd: 8000, per_application_usd: 5000 }
- { id: payments, scope: team, team_id: payments, per_user_usd: 500 }
alerts:
soft_budget_pct: 0.8 # warn before the hard limitBudgetar & styrning är en av sex kontrollytor som tillämpas i samma requestväg och gäller varje applikation bakom endpointen — även de som aldrig instrumenterades.
Se hur de samverkarEn endpoint. Alla modeller. Full kontroll.
Kör den i er egen infrastruktur
Allt ni behöver för att köra en control plane i produktion är Apache-2.0 och förblir det — routing, HA, cache, failover, budgetar, policy, MCP, jobb och observability. Self-hosted, inget konto, ingen phone-home.
$ docker run -p 4000:4000 <registry>/waeg-gateway:<version>Ingen fungerande pull: avbilderna är inte publika än. Designpartner får registeruppgifterna privat.
Driftsätt på 5 minuterForma den som design partner
Wäg är ännu inte publikt släppt. Vi arbetar med en liten grupp team som kör AI från flera leverantörer i produktion och tar styrning och suveränitet på allvar, för att härda control plane:n mot verkliga arbetslaster.
- Alla Enterprise-funktioner ingår, utan licenskostnad
- Praktisk migrering — vi gör den tillsammans med er, även från LiteLLM
- En direktlinje till ingenjörerna som bygger den, och verkligt inflytande över vad som kommer härnäst