Glm 5 3
Archive thématique • 1 résultats
Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA
2026-11-14
Technologie
Nvidia a publié un guide pour servir GLM-5.3, un modèle mixture-of-experts quantifié de 753 milliards de paramètres de Z.ai avec 40 milliards de paramètres activés par token, sur deux DGX Stations connectées via ConnectX-8 RDMA. La configuration utilise le parallélisme tensoriel de vLLM pour répartir les poids et le calcul sur les deux GPU via un point de terminaison unique, atteignant 607,8 tokens par seconde.
Infrastructure • Hacker News
Lien permanent