LiteLLM-Alternativen sinnvoll bewerten

Was Sie jedes Gateway fragen sollten — auch uns

1. Passt die Governance zu Ihrem Organigramm?

   Fragen Staffeln sich Budgets über Organisation, Team, Nutzer, Modell und Key? Greifen sie hart? Kann ein Team die Kapazität eines anderen aufbrauchen?

   Warum es zählt Limits pro Key reichen für ein Team. Sobald Ausgaben Kostenstellen zugeordnet und pro Team gedeckelt werden müssen, ist der Key die falsche Einheit.

   Wäg Budgets staffeln sich von der Organisation über Team, Nutzer und Anwendung bis zum Key, mit Fair-Share-Obergrenzen. Eine Überschreitung lehnt die Anfrage ab, bevor der Anbieter aufgerufen wird.

2. Wird Policy im Anfrageweg durchgesetzt?

   Fragen Gilt eine Regel auch für eine Anwendung, die nie etwas integriert hat? Oder nur dort, wo jemand daran gedacht hat, einen Hook einzubauen?

   Warum es zählt Eine Regel, die nur dort gilt, wo sie aktiviert wurde, ist ein Ratschlag, keine Kontrolle — und die Anwendung, die niemand registriert hat, ist die, aus der etwas abfließt.

   Wäg Eine geordnete Policy-Kette — vor dem Aufruf, mitten im Stream und danach — läuft für jede Anfrage, die den Endpunkt erreicht.

3. Wie groß ist der Laufzeit-Fußabdruck?

   Fragen Was steckt im Image? Ein Interpreter, ein Paketmanager, ein Abhängigkeitsbaum, der erst beim Deployment aufgelöst wird?

   Warum es zählt Alles in diesem Image sitzt vor jeder KI-Anfrage. Es ist Angriffsfläche in der Lieferkette und im Betrieb, und sie wächst mit der Bedeutung des Gateways.

   Wäg Eine distroless Rust-Binary ohne Root. Die Benchmarks-Seite zeigt Image-Größe, Speicherbedarf und Startzeit, direkt nebeneinander gemessen. Zu den Benchmarks

4. Sind Routing-Entscheidungen erklärbar?

   Fragen Führt dieselbe Anfrage immer zur selben Entscheidung? Sagt die Antwort, welches Modell sie bedient hat und warum?

   Warum es zählt Wenn niemand erklären kann, warum eine Anfrage beim teuren Modell gelandet ist, kann es niemand beheben — oder gegenüber dem Controlling vertreten.

   Wäg Intelligentes Routing bewertet Anfragen strukturell, dieselbe Anfrage erhält also dieselbe Analyse. Jede Antwort nennt ihr Modell in x-waeg-routed-model; intelligentes Routing ergänzt x-waeg-route-reason.

5. Steuert es Werkzeugaufrufe von Agenten?

   Fragen Wie werden MCP-Server authentifiziert? Lassen sich Werkzeuge pro Agent freigeben? Wird jeder Schritt eines Agentenlaufs budgetiert und protokolliert? Kann ein Aufruf für einen Menschen angehalten werden?

   Warum es zählt Ein Nutzer-Turn wird zu Dutzenden Modell- und Werkzeugaufrufen, manche mit echten Zugangsdaten. Ein Gateway, das nur die Modellaufrufe sieht, sieht die harmlose Hälfte.

   Wäg Auth pro Server, Werkzeug-Whitelists und Pinning, Lauflimits, Freigaben durch eine benannte Person — mit Enterprise auch in Slack oder Teams — sowie Budget und Audit pro Schritt.

6. Was liefert es für das Audit?

   Fragen Was würden Sie einem Compliance-Team in sechs Monaten übergeben — Traffic-Logs oder einen Nachweis, was entschieden wurde und warum?

   Warum es zählt Seit dem 2. August 2026 sind die Transparenzpflichten des EU AI Act und die Durchsetzung für GPAI mit Sanktionsrisiko bewehrt. Protokollierung und Nachvollziehbarkeit müssen belegbar sein.

   Wäg Ein Entscheidungsnachweis je Anfrage — Modell, Begründung, Policy-Bewertungen, Kosten, Akteur — in einem quelloffenen, signierten Nachweis-Ledger, den Sie mit waeg ledger verify offline prüfen. Enterprise ergänzt Nachweis-Pakete, die dem AI Act und DORA zugeordnet sind, mit markierten Lücken, sowie die Kennzeichnung von KI-Inhalten.

7. Wer betreibt die Control Plane?

   Fragen Berichtet eine selbst gehostete Data Plane an eine vom Anbieter betriebene Control Plane? Was verlässt Ihren Perimeter? Was passiert, wenn der Anbieter übernommen wird?

   Warum es zählt Ein Anbieter oberhalb des Anfragewegs ist eine Abhängigkeit vor der Produktion, und seine Kontinuität wird zu Ihrer.

   Wäg Sie. Es gibt keine Anbieter-Control-Plane, keine Telemetrie und kein Nach-Hause-Telefonieren — beide Ebenen laufen in Ihrer Infrastruktur.

8. Welche Jurisdiktion und welche Lizenz hat der Anbieter?

   Fragen Wo ist der Anbieter registriert? Telefoniert die Software nach Hause oder erzwingt sie eine Lizenz zur Laufzeit? Kann sich die Lizenz unter Ihnen ändern?

   Warum es zählt Die Lizenz entscheidet, was Sie weiterbetreiben können, wenn die Beziehung endet. Die Jurisdiktion entscheidet, wer sonst noch Forderungen an Ihren Lieferanten stellen kann.

   Wäg Bitkaio Ltd, UK. Der Produktionspfad des Gateways steht unter Apache-2.0 — Routing, HA, Caching, Failover, Budgets, Policy und MCP. Die Lizenz ist ein signiertes Offline-Token ohne Lizenzserver; Enterprise ergänzt Identität, Audit-Nachweise und Agenten-Zahlungen.

Wo LiteLLM voraus ist

Ein Leitfaden, der nur unsere Stärken aufzählt, wäre nicht lesenswert. LiteLLM hat:

• Eine längere Anbieterliste, auch mit exotischeren Anbietern, die Wäg noch nicht abdeckt.
• In-Process-Python-Callbacks, falls Ihr Team das Gateway in Python erweitert.
• Eine große Community und jahrelange Produktionserfahrung. Wäg hatte seinen öffentlichen Release noch nicht.
• Einen SOC 2 Type II-Bericht und IP-Allowlists in der Enterprise-Stufe. Beides hat Wäg heute nicht.

Drei Architekturen, nicht zwanzig Produkte

Produkte in dieser Kategorie ändern sich jedes Quartal. Die Architektur darunter nicht, und sie entscheidet die meisten der obigen Fragen.

Dieselbe API, eine Schicht darüber

Wäg ist eine selbst gehostete AI Control Plane mit enthaltenem Gateway. Es spricht dieselbe OpenAI-kompatible API und importiert LiteLLM-Konfiguration — ein Test kostet also eine Base-URL, und Sie können beide parallel betreiben, bis die Zahlen übereinstimmen.