En fungerande gateway på under fem minuter

Starta gatewayen

Inbäddat läge behöver ingenting externt: tillståndet hålls i minnet, så ingenting överlever en omstart, och det finns ingen Postgres eller Redis att sätta upp än. Konsolen kommer upp på samma port, serverad av samma Rust-binär.

Ingen fungerande pull: avbilderna är inte publika än. Designpartner får registeruppgifterna privat.

Register och version är platshållare — designpartner får dem privat. Konsolen på http://localhost:4000/ui/: logga in med det förinstallerade administratörskontot och byt dess lösenord.

Lägg till en leverantör

Ge den en uppström och ett alias, och starta sedan om med filen monterad som kommentaren visar. Alias är det er applikationskod refererar till, så ni kan peka om dem senare utan att röra applikationen.

# waeg.yaml
providers:
  openai:
    provider: openai
    api_key_env: OPENAI_API_KEY      # or api_key_ref: a vault reference

models:
  - name: chat                       # what your code sends as "model"
    deployments:
      - provider: openai
        model_id: gpt-4o

# Restart with it mounted:
#   docker run -p 4000:4000 -e OPENAI_API_KEY \
#     -v "$PWD/waeg.yaml:/etc/waeg/waeg.yaml" \
#     <registry>/waeg-gateway:<version> serve --config /etc/waeg/waeg.yaml

Peka ditt SDK mot den

Wäg exponerar den OpenAI-kompatibla ytan, så det enda som ändras är bas-URL:en. Ditt SDK, requestformer, streamingbeteende och verktygsanrop är oförändrade.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:4000/v1",   # the only change
    api_key="<your-waeg-virtual-key>",     # created in the console
)

resp = client.chat.completions.create(
    model="chat",
    messages=[{"role": "user", "content": "Hello"}],
)

Titta på svarshuvudena. Det är det första synliga tecknet på att något faktiskt fattade ett beslut, i stället för att bara skicka vidare:

Se den i konsolen

Öppna konsolen så finns requesten redan där: trafik, latens, tokens, routingbeslutet och eventuella policyutfall. Kostnaden visas när det medföljande prispaketet har lästs in under Usage & cost → Pricing. Ingenting annat konfigurerades — det är vad en passage genom requestvägen producerar.

Vart du går härifrån