Dalle chiamate API dirette a un unico endpoint governato

Non siete sicuri di avere già bisogno di un gateway? Qui si spiega cosa fa, e quando chiamare direttamente il provider resta la scelta migliore: Che cos'è un AI gateway?

Cinque passi, un'applicazione alla volta

1 · Avviate Wäg e aggiungete i provider

Collegate ogni provider al vostro account esistente e date agli alias i nomi dei modelli che il codice già invia. Così nessun riferimento a un modello, in nessuna applicazione, deve cambiare.

# waeg.yaml — aliases named after the models your code already asks for
providers:
  openai:
    provider: openai
    api_key_env: OPENAI_API_KEY
  anthropic:
    provider: anthropic
    api_key_env: ANTHROPIC_API_KEY

models:
  - name: gpt-4o
    deployments:
      - provider: openai
        model_id: gpt-4o

  - name: claude-haiku-4-5
    deployments:
      - provider: anthropic
        model_id: claude-haiku-4-5

Le chiavi vengono risolte dall'ambiente o dal vostro vault, mai scritte nel file.

2 · Emettete una chiave del gateway per applicazione

Ogni applicazione riceve una propria chiave virtuale al posto di quella del provider. È ciò che rende possibili il costo per applicazione, i limiti per team e la revoca di un singolo servizio — cose che una chiave del provider condivisa non permette.

3 · Cambiate l'URL di base e la chiave

Wäg espone la superficie compatibile con OpenAI — chat completions, l'API Responses (stateless), embeddings, immagini, audio, video, OCR, moderazione, rerank, file, batch, realtime e modelli — con streaming SSE reale, più /v1/mcp e /v1/a2a per gli agenti. Nell'applicazione cambiano due righe:

  client = OpenAI(
-     api_key=os.environ["OPENAI_API_KEY"],
+     base_url=os.environ["WAEG_BASE_URL"],   # e.g. https://waeg.internal/v1
+     api_key=os.environ["WAEG_KEY"],         # this application's gateway key
  )

Sono supportate anche le applicazioni costruite sugli SDK di Anthropic o di Gemini: /v1/messages e /v1beta di Gemini sono formati di richiesta di prima classe, non solo traduzioni del formato OpenAI.

4 · Verificate, poi passate all'applicazione successiva

Inviate una richiesta normale, una in streaming e una con chiamata a strumenti, poi leggete gli header di risposta: x-waeg-routed-model dice quale modello l'ha servita, x-waeg-route-reason perché (con il routing intelligente), x-waeg-cache se ha risposto una cache. La richiesta è già nella console con token e costo.

Un ordine sensato: prima gli strumenti interni, poi i carichi batch e offline, poi un servizio di produzione, poi tutto il resto.

5 · Togliete le chiavi dei provider dalle applicazioni

Quando ogni applicazione passa da Wäg, ruotate le chiavi dei provider e cancellatele dagli ambienti applicativi, dai segreti della CI e dai file di configurazione. Da quel momento le custodisce solo Wäg — ed è la maggior parte del vantaggio in termini di sicurezza, e il passo che i team dimenticano più spesso.

Cosa avete guadagnato

• Il costo per applicazione, team e utente, mentre accade — non ricostruito da una fattura.
• Budget che fermano la spesa prima che il provider venga chiamato, non dashboard che diventano rosse dopo.
• Failover su un altro provider o modello quando uno è fuori servizio.
• Regole sui dati — mascherare, oscurare, bloccare — applicate a ogni prompt, anche nelle applicazioni che nessuno ha toccato.
• Una traccia di ogni richiesta: chi, quale modello, perché, quanto è costata, quali regole sono state applicate.
• Modelli aggiunti o sostituiti dalla configurazione, senza rilasciare di nuovo ogni applicazione.

Cosa vi costa

• Un servizio in più da gestire. La modalità embedded non richiede nulla di esterno, ma è a nodo singolo e in memoria, per le prove; la produzione gira su Postgres e OpenFGA, più Redis quando le repliche sono più d'una.
• Un salto di rete in più. Pochi millisecondi a fronte di chiamate ai modelli da centinaia di millisecondi a secondi — e i riscontri in cache tornano più in fretta di qualsiasi provider.
• Qualcuno deve occuparsene. Di solito il team di piattaforma, le stesse persone che gestiscono le altre infrastrutture condivise.

Domande ricorrenti