Nvidia a publié un guide pour servir GLM-5.3…
…un modèle mixture-of-experts quantifié de 753 milliards de paramètres de Z.ai avec 40 milliards de paramètres activés par token, sur deux DGX Stations connectées via ConnectX-8 RDMA. La configuration utilise le parallélisme tensoriel de vLLM pour répartir les poids et le calcul sur les deux GPU via un point de terminaison unique, atteignant 607,8 tokens par seconde.
Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA
Brief source
Nvidia a publié un guide pour servir GLM-5.3, un modèle mixture-of-experts quantifié de 753 milliards de paramètres de Z.ai avec 40 milliards de paramètres activés par token, sur deux DGX Stations connectées via ConnectX-8 RDMA. La configuration utilise le parallélisme tensoriel de vLLM pour répartir les poids et le calcul sur les deux GPU via un point de terminaison unique, atteignant 607,8 tokens par seconde.