Le décodage spéculatif de vLLM sur les GPU AMD peut vérifier plusieurs jetons proposés en un seul passage, améliorant le débit de jetons en sortie.

Les résultats varient selon la méthode de proposition, la famille de modèles et la charge de travail.

Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA