Sådan vurderer du LiteLLM-alternativer

Hvad du bør spørge enhver gateway om — også os

1. Passer governance til jeres organisationsdiagram?

   Spørg Stables budgetterne på tværs af organisation, team, bruger, model og nøgle? Fejler de lukket? Kan ét team tømme et andet teams kapacitet?

   Hvorfor det betyder noget Grænser pr. nøgle fungerer for ét team. Når forbruget skal henføres til omkostningssteder og begrænses pr. team, er en nøgle den forkerte enhed.

   Wäg Budgetter stables fra organisation via team, bruger og applikation til nøgle med fair-share-lofter, og en overskridelse afviser kaldet, før provideren kontaktes.

2. Håndhæves politik i request-stien?

   Spørg Gælder en regel for en applikation, der aldrig har integreret noget? Eller kun der, hvor nogen huskede at tilføje en hook?

   Hvorfor det betyder noget En regel, der kun gælder, hvor man har tilvalgt den, er et råd og ikke en kontrol — og den applikation, ingen har registreret, er den, der lækker.

   Wäg En ordnet politikkæde — pre-call, mid-stream og post-call — kører på hver request, der når endpointet.

3. Hvor stort er runtime-aftrykket?

   Spørg Hvad ligger der i imaget? En fortolker, en pakkemanager, et afhængighedstræ, der opløses ved deploy?

   Hvorfor det betyder noget Alt i det image sidder foran hver eneste AI-request. Det er forsyningskæde- og driftsflade, og den vokser i takt med gatewayens betydning.

   Wäg Én distroless, non-root Rust-binær. Benchmarks-siden har tal for imagestørrelse, hukommelse og opstartstid, målt side om side. Se benchmarks

4. Kan routing-beslutninger forklares?

   Spørg Giver den samme request altid den samme beslutning? Siger svaret, hvilken model der leverede det, og hvorfor?

   Hvorfor det betyder noget Hvis ingen kan forklare, hvorfor en request endte hos den dyre model, kan ingen rette det — eller forsvare det over for økonomi.

   Wäg Intelligent routing scorer requests strukturelt, så den samme request får den samme analyse. Hvert svar navngiver sin model i x-waeg-routed-model; intelligent routing tilføjer x-waeg-route-reason.

5. Styrer den agenters tool calls?

   Spørg Hvordan autentificeres MCP-servere? Kan tools allow-listes pr. agent? Er hvert hop i en agentkørsel budgetteret og logget? Kan et kald holdes tilbage til et menneske?

   Hvorfor det betyder noget Ét brugertur bliver til dusinvis af model- og tool-kald, nogle med rigtige credentials. En gateway, der kun ser modelkaldene, ser den harmløse halvdel.

   Wäg Auth pr. server, tool-allow-lists og fastlåsning, kørselsgrænser, godkendelser af en navngiven person — med Enterprise også i Slack eller Teams — samt budget og audit pr. hop.

6. Hvad leverer den til revision?

   Spørg Hvad ville du række et compliance-team om seks måneder — trafiklogs eller en registrering af, hvad der blev besluttet, og hvorfor?

   Hvorfor det betyder noget Siden 2. august 2026 medfører EU AI Acts gennemsigtighedsforpligtelser og håndhævelsen over for GPAI en risiko for sanktioner. Logning og sporbarhed skal kunne dokumenteres.

   Wäg En beslutningsregistrering pr. request — model, begrundelse, politikafgørelser, omkostning, aktør — i et signeret open source-bevisregister, du tjekker offline med waeg ledger verify. Enterprise tilføjer bevispakker knyttet til AI-forordningen og DORA, med mangler markeret, samt AI-indholdsmærkning.

7. Hvem driver control plane?

   Spørg Rapporterer en self-hosted data plane til en leverandørdrevet control plane? Hvad forlader jeres perimeter? Hvad sker der, hvis leverandøren bliver opkøbt?

   Hvorfor det betyder noget En leverandør over request-stien er en afhængighed foran produktion, og dens kontinuitet bliver din.

   Wäg Det gør du. Der er ingen leverandør-control-plane, ingen telemetri og ingen phone-home — begge planer kører i din egen infrastruktur.

8. Hvilken jurisdiktion og licens har leverandøren?

   Spørg Hvor er leverandøren registreret? Ringer softwaren hjem eller håndhæver en licens ved runtime? Kan licensen ændres under dig?

   Hvorfor det betyder noget Licensen afgør, hvad du kan blive ved med at køre, hvis forholdet ophører. Jurisdiktionen afgør, hvem der ellers kan stille krav til din leverandør.

   Wäg Bitkaio Ltd, UK. Gatewayens produktionssti er Apache-2.0 — routing, HA, caching, failover, budgetter, politik og MCP. Licensen er et signeret offline-token uden licensserver; Enterprise tilføjer identitet, auditdokumentation og agentbetalinger.

Hvor LiteLLM er foran

En guide, der kun opregner vores styrker, ville ikke være værd at læse. LiteLLM har:

• En længere liste af providers, også i long tail, som Wäg endnu ikke dækker.
• In-process Python-callbacks, hvis dit team udvider gatewayen i Python.
• Et stort community og års produktionserfaring. Wäg har endnu ikke haft sin offentlige release.
• En SOC 2 Type II-rapport og IP-allowlists i enterprise-niveauet. Wäg har ingen af delene i dag.

Tre arkitekturer, ikke tyve produkter

Produkterne i denne kategori skifter hvert kvartal. Arkitekturen under dem gør ikke, og den afgør det meste af ovenstående.

Samme API, ét lag højere

Wäg er en self-hosted AI control plane med gatewayen inkluderet. Den taler det samme OpenAI-kompatible API og importerer LiteLLM-konfiguration, så det koster én base-URL at prøve den — og du kan køre begge side om side, til tallene stemmer.