Een werkend gateway in minder dan vijf minuten

Start het gateway

De embedded modus heeft niets externs nodig: de status staat in het geheugen, dus niets overleeft een herstart, en er hoeft nog geen Postgres of Redis te staan. De console komt op dezelfde poort omhoog, geserveerd door dezelfde Rust-binary.

Geen werkende pull: de images zijn nog niet openbaar. Ontwerppartners krijgen de registrygegevens vertrouwelijk.

Registry en versie zijn placeholders — ontwerppartners ontvangen ze vertrouwelijk. Console op http://localhost:4000/ui/: meld u aan met het vooraf aangemaakte adminaccount en wijzig het wachtwoord.

Voeg een provider toe

Geef het één upstream en één alias, en herstart dan met het bestand gekoppeld zoals het commentaar laat zien. Aliassen zijn waar uw applicatiecode naar verwijst, dus u kunt ze later omleggen zonder de applicatie aan te raken.

# waeg.yaml
providers:
  openai:
    provider: openai
    api_key_env: OPENAI_API_KEY      # or api_key_ref: a vault reference

models:
  - name: chat                       # what your code sends as "model"
    deployments:
      - provider: openai
        model_id: gpt-4o

# Restart with it mounted:
#   docker run -p 4000:4000 -e OPENAI_API_KEY \
#     -v "$PWD/waeg.yaml:/etc/waeg/waeg.yaml" \
#     <registry>/waeg-gateway:<version> serve --config /etc/waeg/waeg.yaml

Richt uw SDK erop

Wäg bedient het OpenAI-compatibele oppervlak, dus het enige dat verandert is de base-URL. Uw SDK, request-vormen, streaminggedrag en tool calling blijven ongewijzigd.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:4000/v1",   # the only change
    api_key="<your-waeg-virtual-key>",     # created in the console
)

resp = client.chat.completions.create(
    model="chat",
    messages=[{"role": "user", "content": "Hello"}],
)

Bekijk de response-headers. Dat is het eerste zichtbare teken dat er iets is besloten in plaats van alleen doorgestuurd:

Bekijk het in de console

Open de console en het request staat er al: verkeer, latentie, tokens, de routingbeslissing en eventuele policy-verdicts. Kosten verschijnen zodra het meegeleverde prijspakket is geladen onder Usage & cost → Pricing. Verder is er niets geconfigureerd — dat is wat een doorloop door het request-pad oplevert.

Hoe het hiervandaan verdergaat