Snabb, men aldrig fel
En svarscache i fyra nivåer — exakt, kanonisk, nära-dubblett och semantisk — med säkerhetsspärrar som avvisar en matchning när siffror, negationer eller namn skiljer sig. Fånga bruset; servera inte svaret på en annan fråga.
"Fånga bruset (mellanslag, kommatecken, ett efterhängande frågetecken) utan att servera fel svar när betydelsen ändras."
L1 · Exakt
En SHA-256 över den oförändrade requesten — modell, meddelanden, parametrar och verktyg. Identiska anrop returneras omedelbart, utan någon ungefärlig matchning inblandad.
L1b · Kanonisk
Slår ihop följder av blanktecken och trimmar ändarna, inget annat. Ingen omvandling till gemener och ingen borttagning av skiljetecken, eftersom det kan ändra betydelsen.
L2 · Nära-dubblett
En 64-bitars SimHash hittar requests som bara skiljer sig kosmetiskt — ett avslutande frågetecken, ett extra kommatecken — och varje kandidat måste ändå passera säkerhetsspärrarna.
L3 · Semantisk
Cosinuslikhet på en inbyggd bag-of-words-embedding utan externt anrop, eller på en embedder du väljer: en OpenAI-kompatibel endpoint eller en modell i gatewayen.
Spärrar mot falska träffar
”Frankrikes huvudstad” och ”Spaniens huvudstad” är en miss. ”Återbetala order 12345” och ”12346” är en miss. Siffror, negationer och entiteter bryter en träff.
Verklig latens och kostnad sparad
En träff hoppar över anropet uppströms helt — svaret bär x-waeg-cache så att du ser exakt vad som serverades från cachen.
En ägare per svar
Ett cachat svar tillhör en användare, applikation, ett team eller en nyckel, aldrig hela organisationen. Två användare delar aldrig ett svar, inte ens på de ungefärliga nivåerna.
Leverantörens promptcache
Sessionsaffinitet håller en konversation på en deployment, och valfria tips markerar Anthropics brytpunkter för cachen eller skickar en stabil prompt_cache_key till OpenAI.
Försiktig behörighet
Strömmar, temperatur över noll och requests med verktyg hoppar som standard över svarscachen. Bilder, ljud, embeddings och OCR får bara exakta träffar.
Steg för steg
- 01
Normalisera
Requesten hashas för en exakt matchning och kanoniseras sedan — blanktecken ihopslagna och trimmade, inget som kan ändra betydelsen.
- 02
Vidga försiktigt
Om den exakta nivån missar vidgar nivåerna nära-dubblett (SimHash) och semantisk (cosinus) nätet — varje nivå lösare än den förra, varje nivå fortfarande spärrad.
- 03
Spärra på betydelse
Innan en nära-dubblett- eller semantisk träff serveras kontrollerar säkerhetsspärrarna att siffror, negationer och namngivna entiteter stämmer. Om betydelsen förskjutits är det en miss.
- 04
Servera eller falla igenom
En spärrgodkänd träff returneras omedelbart och märks i svarshuvudena. En miss faller igenom till routing och leverantören uppströms.
# Cosmetic noise → HIT (near-dup, gates pass)
"capital of France" ≈ "capital of France?"
→ near_dup HIT
# Entity changed → gate rejects → MISS
"capital of France" vs "capital of Spain"
→ MISS (entity)
# Number changed → gate rejects → MISS
"Refund order 12345" vs "Refund order 12346"
→ MISS (number)Semantisk cache är en av sex kontrollytor som tillämpas i samma requestväg och gäller varje applikation bakom endpointen — även de som aldrig instrumenterades.
Se hur de samverkarEn endpoint. Alla modeller. Full kontroll.
Kör den i er egen infrastruktur
Allt ni behöver för att köra en control plane i produktion är Apache-2.0 och förblir det — routing, HA, cache, failover, budgetar, policy, MCP, jobb och observability. Self-hosted, inget konto, ingen phone-home.
$ docker run -p 4000:4000 <registry>/waeg-gateway:<version>Ingen fungerande pull: avbilderna är inte publika än. Designpartner får registeruppgifterna privat.
Driftsätt på 5 minuterForma den som design partner
Wäg är ännu inte publikt släppt. Vi arbetar med en liten grupp team som kör AI från flera leverantörer i produktion och tar styrning och suveränitet på allvar, för att härda control plane:n mot verkliga arbetslaster.
- Alla Enterprise-funktioner ingår, utan licenskostnad
- Praktisk migrering — vi gör den tillsammans med er, även från LiteLLM
- En direktlinje till ingenjörerna som bygger den, och verkligt inflytande över vad som kommer härnäst