En fungerende gateway på under fem minutter

Start gatewayen

Embedded-tilstand kræver intet eksternt: tilstanden ligger i hukommelsen, så intet overlever en genstart, og der er hverken Postgres eller Redis at rejse endnu. Konsollen kommer op på den samme port, serveret af den samme Rust-binær.

Endnu ikke et pull, der virker: images er ikke offentlige endnu. Designpartnere får registry-oplysningerne direkte.

Registry og version er pladsholdere — designpartnere får dem direkte. Konsollen på http://localhost:4000/ui/: log ind med den foruddefinerede admin-konto, og skift dens adgangskode.

Tilføj en provider

Giv den én upstream og ét alias, og genstart så med filen monteret, som kommentaren viser. Aliasser er det, din applikationskode refererer til, så du kan pege dem et andet sted hen senere uden at røre applikationen.

# waeg.yaml
providers:
  openai:
    provider: openai
    api_key_env: OPENAI_API_KEY      # or api_key_ref: a vault reference

models:
  - name: chat                       # what your code sends as "model"
    deployments:
      - provider: openai
        model_id: gpt-4o

# Restart with it mounted:
#   docker run -p 4000:4000 -e OPENAI_API_KEY \
#     -v "$PWD/waeg.yaml:/etc/waeg/waeg.yaml" \
#     <registry>/waeg-gateway:<version> serve --config /etc/waeg/waeg.yaml

Peg dit SDK mod den

Wäg leverer den OpenAI-kompatible flade, så det eneste, der ændrer sig, er base-URL'en. Dit SDK, request-formaterne, streaming-adfærden og tool calling er uændret.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:4000/v1",   # the only change
    api_key="<your-waeg-virtual-key>",     # created in the console
)

resp = client.chat.completions.create(
    model="chat",
    messages=[{"role": "user", "content": "Hello"}],
)

Kig på response-headerne. Det er det første synlige tegn på, at noget besluttede noget, frem for blot at videresende det:

Se den i konsollen

Åbn konsollen, og requesten er der allerede: trafik, latens, tokens, routing-beslutningen og eventuelle politikafgørelser. Omkostningen vises, så snart den medfølgende prispakke er indlæst under Usage & cost → Pricing. Intet andet blev konfigureret — det er, hvad det producerer at passere gennem request-stien.

Hvor du går hen herfra