Rápido, pero nunca incorrecto
Una caché de respuestas de cuatro niveles — exacta, canónica, casi duplicada y semántica — con controles de seguridad que rechazan una coincidencia cuando difieren números, negaciones o nombres. Absorbe el ruido; no sirvas la respuesta a otra pregunta.
"Absorbe el ruido (espacios, comas, un signo de interrogación de más) sin servir respuestas incorrectas cuando el significado cambia."
L1 · Exacta
Un SHA-256 sobre la solicitud tal cual — modelo, mensajes, parámetros y herramientas. Las llamadas idénticas responden al instante, sin ninguna coincidencia aproximada de por medio.
L1b · Canónica
Reduce las secuencias de espacios y recorta los extremos, nada más. Sin pasar a minúsculas ni quitar puntuación, porque eso puede cambiar el significado.
L2 · Casi-duplicado
Un SimHash de 64 bits detecta solicitudes que solo difieren cosméticamente — un signo de interrogación final, una coma de más — y cada candidato tiene que pasar igualmente los controles de seguridad.
L3 · Semántica
Similitud coseno sobre un embedding integrado de bolsa de palabras, sin llamadas externas, o sobre el embedder que elijas: un endpoint compatible con OpenAI o un modelo en el gateway.
Controles antifalsos positivos
«Capital de Francia» y «capital de España» son un fallo. «Reembolso pedido 12345» y «12346» son un fallo. Números, negación y entidades rompen un acierto.
Latencia y coste realmente ahorrados
Un acierto se salta por completo la llamada upstream — la respuesta lleva x-waeg-cache para que veas exactamente qué se sirvió desde la caché.
Un titular por respuesta
Una respuesta en caché pertenece a un usuario, aplicación, equipo o clave, nunca a toda la organización. Dos usuarios nunca comparten una respuesta, ni siquiera en los niveles aproximados.
Caché de prompts del proveedor
La afinidad de sesión mantiene una conversación en un mismo despliegue, e indicaciones opcionales marcan los puntos de corte de caché de Anthropic o envían a OpenAI un prompt_cache_key estable.
Elegibilidad conservadora
Los streams, las temperaturas por encima de cero y las solicitudes con herramientas se saltan por defecto la caché de respuestas. Imágenes, audio, embeddings y OCR solo obtienen aciertos exactos.
Paso a paso
- 01
Normalizar
Se aplica un hash a la solicitud para una sonda de coincidencia exacta y luego se canoniza — espacios reducidos y recortados, nada que pueda cambiar el significado.
- 02
Ampliar con cautela
Si la exacta falla, los niveles casi-duplicado (SimHash) y semántico (coseno) amplían la red — cada uno más laxo que el anterior, cada uno aún controlado.
- 03
Controlar el significado
Antes de servir un acierto casi duplicado o semántico, los controles de seguridad verifican que números, negaciones y entidades nombradas coincidan. Si el significado cambió, es un fallo.
- 04
Servir o continuar
Un acierto controlado responde de inmediato y se marca en las cabeceras de respuesta. Un fallo continúa hacia el enrutamiento y el proveedor upstream.
# Cosmetic noise → HIT (near-dup, gates pass)
"capital of France" ≈ "capital of France?"
→ near_dup HIT
# Entity changed → gate rejects → MISS
"capital of France" vs "capital of Spain"
→ MISS (entity)
# Number changed → gate rejects → MISS
"Refund order 12345" vs "Refund order 12346"
→ MISS (number)Caché semántica es una de las seis superficies de control que se aplican en la misma ruta de petición, para todas las aplicaciones situadas detrás del endpoint — incluidas las que nunca se instrumentaron.
Vea cómo se combinanUn endpoint. Cada modelo. Control total.
Ejecútelo en su propia infraestructura
Todo lo necesario para operar un control plane en producción es Apache-2.0 y seguirá siéndolo: enrutamiento, alta disponibilidad, caché, failover, presupuestos, políticas, MCP, trabajos y observabilidad. Self-hosted, sin cuenta, sin phone-home.
$ docker run -p 4000:4000 <registry>/waeg-gateway:<version>No es un pull que funcione: las imágenes aún no son públicas. Los socios de diseño reciben los datos del registro en privado.
Despliega en 5 minutosContribuya a definirlo como design partner
Wäg todavía no se ha publicado. Trabajamos con un grupo reducido de equipos que ejecutan IA multiproveedor en producción y se toman en serio la gobernanza y la soberanía, para endurecer el control plane con cargas de trabajo reales.
- Todas las capacidades Enterprise incluidas, sin coste de licencia
- Migración acompañada: la hacemos con usted, también desde LiteLLM
- Línea directa con los ingenieros que lo construyen e influencia real sobre lo que llega después