Skip to content
Intelligence IANov 14, 2026Intelligence IA
Article

Nvidia a publié un guide pour servir GLM-5.3…

…un modèle mixture-of-experts quantifié de 753 milliards de paramètres de Z.ai avec 40 milliards de paramètres activés par token, sur deux DGX Stations connectées via ConnectX-8 RDMA. La configuration utilise le parallélisme tensoriel de vLLM pour répartir les poids et le calcul sur les deux GPU via un point de terminaison unique, atteignant 607,8 tokens par seconde.

Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA

Généré par IASource: Hacker News
01

Brief source

Nvidia a publié un guide pour servir GLM-5.3, un modèle mixture-of-experts quantifié de 753 milliards de paramètres de Z.ai avec 40 milliards de paramètres activés par token, sur deux DGX Stations connectées via ConnectX-8 RDMA. La configuration utilise le parallélisme tensoriel de vLLM pour répartir les poids et le calcul sur les deux GPU via un point de terminaison unique, atteignant 607,8 tokens par seconde.