Van LiteLLM naar Wäg in een middag, niet een kwartaal

Vier stappen, geen enkele een herbouw

1 · Importeer uw configuratie

Leest uw LiteLLM-config.yaml — op de commandline, of geplakt onder Platform → System → Import in de console — en produceert Wäg-configuratie: modellen en aliassen, verwijzingen naar provider-credentials, routingstrategie, fallbacks, Redis, projecten als applicaties met budgetten, virtuele keys, MCP-servers en A2A-agents.

Wat u moet controleren is het importrapport. Elke sleutel komt in een van vier lijsten terecht — mapped, skipped, needs_human en notes — en de commandline toont de aantallen met voorbeelden:

mapped
  model_list (12 rows)                    → 6 aliases: gpt-4o, claude, fast, cheap, embed, vision
  model_list[3].litellm_params.rpm: 600   → relative deployment weight
  litellm_settings.fallbacks              → alias fallbacks
  litellm_settings.num_retries: 3         → routing.max_retries: 3
  router_settings.routing_strategy        → routing.strategy: weighted (see notes)
  projects[0] (max_budget, budget_duration) → application app_ll_search + application budget
skipped
  litellm_settings.success_callback       → re-create under Observability
needs_human
  general_settings.master_key: os.environ/LITELLM_MASTER_KEY → set WAEG_MASTER_KEY
  litellm_settings.cache_params           → re-create under Caching
notes
  routing_strategy "latency-based-routing-v2" is not known → weighted

Illustratieve uitvoer. Het laat zien dat het rapport een echt artefact is: niets faalt stilzwijgend, alles zonder Wäg-equivalent wordt ter beoordeling vermeld in plaats van benaderd, en secrets worden nooit teruggegeven.

2 · Zet één base-URL om

Wäg bedient het OpenAI-compatibele oppervlak — /v1/chat/completions, /v1/responses (stateless), /v1/embeddings, /v1/images/*, /v1/audio/*, /v1/videos, /v1/rerank, /v1/ocr, /v1/moderations, /v1/files, /v1/batches, /v1/realtime, /v1/models — plus /v1/messages van Anthropic, /v1beta van Gemini, en /v1/mcp en /v1/a2a voor agents. LiteLLM-clients zoals Cline en Roo blijven werken: GET /model/info antwoordt met of zonder /v1, x-litellm-api-key wordt geaccepteerd op pass-through- en MCP-routes, en x-litellm-session-id groepeert calls tot gesprekken. Streaming is echte SSE.

  client = OpenAI(
-     base_url="http://litellm:4000/v1",
+     base_url="https://waeg.internal/v1",
      api_key=os.environ["GATEWAY_KEY"],
  )

Te controleren: GET /v1/models geeft uw aliassen terug, daarna één streaming- en één tool-calling-request per alias.

3 · Parallel verifiëren

Draai beide. Stuur een percentage van het verkeer naar Wäg, of spiegel er productieverkeer naartoe, en vergelijk. Omdat replica's stateless zijn en hun tellers via Redis en hun configuratie via Postgres delen, kunt u de canary op- en afschalen zonder budgetstatus te verliezen.

• Routingbeslissingen — x-waeg-routed-model op elke response, x-waeg-route-reason bij intelligente routing
• Cachegedrag — x-waeg-cache, en of de hitratio's overeenkomen met uw verwachtingen
• Tokenaantallen en kostentoewijzing tegenover uw providerfactuur
• p50/p95/p99-latentie, foutpercentages en fallbackpercentages
• Compatibiliteitssignalen — request- en responsevelden waarop uw clients rekenen en die de gateway doorgaf of liet vallen, geteld uit uw eigen verkeer

4 · Omschakelen

Zet de base-URL om voor één service, daarna voor de rest. Laat de LiteLLM-deployment draaien tot u tevreden bent — terugrollen is dezelfde wijziging van één regel in omgekeerde richting.

Een verstandige volgorde: eerst interne tools, dan batch- en offline-workloads, dan één productieservice, dan alles.

Configuratieveld voor configuratieveld

Inclusief wat LiteLLM kan en Wäg niet

Toets dit aan uw eigen opzet voordat u begint. Is een van de eerste twee punten dragend voor u, dan is de migratie een echt project in plaats van een middag — en dat kunt u beter nu weten dan halverwege.

Wat u erbij hebt gewonnen

Bekijk waar het gateway eindigt en de control plane begint · Bekijk de benchmarks

Vragen die terugkomen