Gpu
Archive thématique • 1 résultats
Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA
2026-09-07
Technologie
Le décodage spéculatif de vLLM sur les GPU AMD peut vérifier plusieurs jetons proposés en un seul passage, améliorant le débit de jetons en sortie. Les résultats varient selon la méthode de proposition, la famille de modèles et la charge de travail.
Infrastructure • Hacker News
Lien permanent