Snel, maar nooit fout
Een responsecache in vier tiers — exact, canoniek, bijna-duplicaat en semantisch — met veiligheidspoorten die een overeenkomst afwijzen als getallen, ontkenning of namen verschillen. Vang de ruis op; serveer geen antwoord op een andere vraag.
"Vang ruis op (spaties, komma's, een overbodig vraagteken) zonder verkeerde antwoorden te serveren wanneer de betekenis verandert."
L1 · Exact
Een SHA-256 over het onbewerkte verzoek — model, berichten, parameters en tools. Identieke aanroepen antwoorden direct, zonder enige fuzzy matching.
L1b · Canoniek
Voegt reeksen spaties samen en knipt de uiteinden bij, verder niets. Geen omzetting naar kleine letters en geen verwijdering van leestekens, omdat die de betekenis kunnen veranderen.
L2 · Bijna-duplicaat
Een 64-bits SimHash spot verzoeken die alleen cosmetisch verschillen — een vraagteken aan het eind, een extra komma — en elke kandidaat moet nog steeds door de veiligheidspoorten.
L3 · Semantisch
Cosinus-gelijkenis op een ingebouwde bag-of-words-embedding zonder externe aanroep, of op een embedder naar keuze: een OpenAI-compatibel endpoint of een model op de gateway.
Anti-valse-treffer-controles
„Hoofdstad van Frankrijk” en „hoofdstad van Spanje” zijn een miss. „Terugbetaling bestelling 12345” en „12346” zijn een miss. Getallen, ontkenning en entiteiten breken een hit.
Echte latentie & kosten bespaard
Een hit slaat de upstream-aanroep volledig over — het antwoord draagt x-waeg-cache zodat u precies ziet wat uit de cache is geserveerd.
Eén principal per antwoord
Een gecachet antwoord hoort bij één gebruiker, applicatie, team of key, nooit bij de hele organisatie. Twee gebruikers delen nooit een antwoord, ook niet op de fuzzy tiers.
Promptcaching bij de provider
Sessie-affiniteit houdt een gesprek op één deployment, en optionele hints markeren cache-breakpoints bij Anthropic of sturen OpenAI een stabiele prompt_cache_key.
Terughoudende geschiktheid
Streams, temperatuur boven nul en verzoeken met tools slaan de responsecache standaard over. Afbeeldingen, audio, embeddings en OCR krijgen alleen exacte treffers.
Stap voor stap
- 01
Normaliseren
Het verzoek wordt gehasht voor een exacte-match-controle en daarna gecanoniseerd — spaties samengevoegd en bijgeknipt, niets wat de betekenis kan veranderen.
- 02
Voorzichtig verbreden
Als exact faalt, verbreden de niveaus bijna-duplicaat (SimHash) en semantisch (cosinus) het net — elk losser dan het vorige, elk nog steeds gecontroleerd.
- 03
De betekenis controleren
Voordat een near-dup- of semantische hit wordt geserveerd, controleren veiligheidspoorten of getallen, ontkenning en benoemde entiteiten overeenkomen. Is de betekenis verschoven, dan is het een miss.
- 04
Serveren of doorlaten
Een gecontroleerde hit antwoordt direct en wordt gemarkeerd in de responsheaders. Een miss valt door naar de routing en de upstream-provider.
# Cosmetic noise → HIT (near-dup, gates pass)
"capital of France" ≈ "capital of France?"
→ near_dup HIT
# Entity changed → gate rejects → MISS
"capital of France" vs "capital of Spain"
→ MISS (entity)
# Number changed → gate rejects → MISS
"Refund order 12345" vs "Refund order 12346"
→ MISS (number)Semantische caching is een van zes controlevlakken die in hetzelfde request-pad worden afgedwongen en gelden voor elke applicatie achter het endpoint — ook voor de applicaties die nooit zijn geïnstrumenteerd.
Bekijk hoe ze samenwerkenÉén endpoint. Elk model. Volledige controle.
Draai het in uw eigen infrastructuur
Alles wat u nodig hebt om een control plane in productie te draaien staat onder Apache-2.0 en blijft dat ook — routing, HA, caching, failover, budgetten, policy, MCP, jobs en observability. Self-hosted, zonder account, zonder phone-home.
$ docker run -p 4000:4000 <registry>/waeg-gateway:<version>Geen werkende pull: de images zijn nog niet openbaar. Ontwerppartners krijgen de registrygegevens vertrouwelijk.
Implementeer in 5 minutenBepaal mee als design partner
Wäg is nog niet publiek beschikbaar. We werken met een kleine groep teams die multi-provider AI in productie draaien en governance en soevereiniteit serieus nemen, om de control plane te harden op echte workloads.
- Alle Enterprise-functies inbegrepen, zonder licentiekosten
- Migratie die we samen met u doen — ook vanaf LiteLLM
- Een directe lijn naar de engineers die het bouwen, en echte invloed op wat er als volgende komt