La decodificación especulativa de vLLM en GPU de AMD puede verificar múltiples tokens candidatos en una sola pasada…

…mejorando el rendimiento de tokens de salida. Los resultados varían según el método de borrado, la familia de modelos y la carga de trabajo.

Generado por IA: resúmenes redactados por IA a partir de las fuentes enlazadas. Cómo usamos la IA