Så utvärderar ni LiteLLM-alternativ

Vad ni bör fråga varje gateway — oss också

1. Stämmer styrningen med organisationsschemat?

   Fråga Staplas budgetar över organisation, team, användare, modell och nyckel? Nekar de vid överskridande? Kan ett team tömma ett annat teams kapacitet?

   Därför spelar det roll Gränser per nyckel fungerar för ett team. När kostnader ska fördelas på kostnadsställen och begränsas per team är en nyckel fel enhet.

   Wäg Budgetar staplas från organisation via team, användare och applikation till nyckel, med tak för rättvis andel, och ett överskridande avvisar requesten innan leverantören anropas.

2. Tillämpas policy i requestvägen?

   Fråga Gäller en regel även för en applikation som aldrig integrerade något? Eller bara där någon kom ihåg att lägga in en hook?

   Därför spelar det roll En regel som bara gäller där den valdes in är ett råd, ingen kontroll — och applikationen som ingen registrerade är den som läcker.

   Wäg En ordnad policykedja — före anropet, mitt i strömmen och efter anropet — körs på varje request som når endpointen.

3. Hur stort är runtime-avtrycket?

   Fråga Vad levereras i imagen? En interpretator, en pakethanterare, ett beroendeträd som löses ut vid driftsättning?

   Därför spelar det roll Allt i den imagen sitter framför varje AI-request. Det är yta för leveranskedjan och för driften, och den växer i takt med att gatewayen blir viktigare.

   Wäg En distroless Rust-binär som körs utan root. Benchmarksidan visar imagestorlek, minne och starttid, mätta sida vid sida. Se benchmarks

4. Går routingbesluten att förklara?

   Fråga Ger samma request alltid samma beslut? Anger svaret vilken modell som svarade, och varför?

   Därför spelar det roll Om ingen kan förklara varför en request gick till den dyra modellen kan ingen rätta till det — eller försvara det inför ekonomi.

   Wäg Intelligent routing poängsätter requests strukturellt, så samma request får samma analys. Varje svar anger sin modell i x-waeg-routed-model; intelligent routing lägger till x-waeg-route-reason.

5. Styr den agenters verktygsanrop?

   Fråga Hur autentiseras MCP-servrar? Kan verktyg tillåtlistas per agent? Budgeteras och loggas varje steg i en agentkörning? Kan ett anrop hållas för en människa?

   Därför spelar det roll En användartur blir dussintals modell- och verktygsanrop, några med riktiga behörigheter. En gateway som bara ser modellanropen ser den ofarliga hälften.

   Wäg Autentisering per server, tillåtlistor och fästning av verktyg, körningsgränser, godkännande av en namngiven person — även i Slack eller Teams, med Enterprise — samt budget och revision per steg.

6. Vad producerar den för revision?

   Fråga Vad skulle ni lämna till ett efterlevnadsteam om sex månader — trafikloggar, eller en post över vad som beslutades och varför?

   Därför spelar det roll Från den 2 augusti 2026 medför transparenskraven i EU:s AI-förordning och tillsynen över GPAI sanktionsrisk. Loggning och spårbarhet måste gå att påvisa.

   Wäg En beslutspost per request — modell, skäl, policyutfall, kostnad och aktör — i en signerad bevisliggare med öppen källkod som ni kontrollerar offline med waeg ledger verify. Enterprise lägger till bevispaket mappade mot AI-förordningen och DORA, med luckor flaggade, och märkning av AI-innehåll.

7. Vem driftar control plane:n?

   Fråga Rapporterar ett self-hosted data plane till en control plane som leverantören driftar? Vad lämnar er perimeter? Vad händer om leverantören köps upp?

   Därför spelar det roll En leverantör ovanför requestvägen är ett beroende framför produktionen, och dess kontinuitet blir er.

   Wäg Ni gör det. Det finns ingen leverantörsdriven control plane, ingen telemetri och ingen phone-home — båda planen körs i er infrastruktur.

8. Vilken jurisdiktion och licens har leverantören?

   Fråga Var är leverantören registrerad? Ringer programvaran hem eller tvingar den fram en licens vid körning? Kan licensen ändras under fötterna på er?

   Därför spelar det roll Licensen avgör vad ni kan fortsätta köra om relationen tar slut. Jurisdiktionen avgör vem mer som kan ställa krav på er leverantör.

   Wäg Bitkaio Ltd, Storbritannien. Gatewayens produktionsväg är Apache-2.0 — routing, HA, cache, failover, budgetar, policy och MCP. Licensen är en signerad offlinetoken utan licensserver; Enterprise lägger till identitet, revisionsbevis och agentbetalningar.

Där LiteLLM ligger före

En guide som bara listar våra styrkor vore inte värd att läsa. LiteLLM har:

• En längre lista över leverantörer, inklusive smala sådana som Wäg ännu inte täcker.
• Python-callbacks i processen, om ert team bygger ut gatewayen i Python.
• En stor community och många års produktionsanvändning. Wäg har ännu inte haft sin publika release.
• En SOC 2 Type II-rapport och IP-tillåtelselistor i sin enterprise-nivå. Wäg har inget av det i dag.

Tre arkitekturer, inte tjugo produkter

Produkterna i den här kategorin förändras varje kvartal. Arkitekturen under dem gör det inte, och den avgör det mesta av frågorna ovan.

Samma API, ett lager högre

Wäg är en self-hosted AI control plane med gatewayen inbyggd. Den talar samma OpenAI-kompatibla API och importerar LiteLLM-konfiguration, så att prova den kostar en bas-URL — och ni kan köra båda sida vid sida tills siffrorna stämmer överens.