Un nuevo enfoque arquitectónico demuestra que filtrar consultas ambiguas antes de que lleguen al modelo de lenguaje puede reducir...

Resumen fuente

Un nuevo enfoque arquitectónico demuestra que filtrar consultas ambiguas antes de que lleguen al modelo de lenguaje puede reducir los costos de inferencia de Generación Aumentada por Recuperación hasta seis veces. Enrutar el tráfico no esencial a través de clasificadores ligeros evita costosas llamadas al LLM mientras se mantiene la preparación para auditorías en industrias reguladas.