Skip to content
Inteligencia IANov 14, 2026Inteligencia IA
Articulo

Nvidia publicó una guía para servir GLM-5.3…

…un modelo de mezcla de expertos cuantizado de 753 mil millones de parámetros de Z.ai con 40 mil millones de parámetros activados por token, en dos DGX Stations conectadas mediante ConnectX-8 RDMA. La configuración utiliza el paralelismo tensorial de vLLM para dividir los pesos y la computación entre ambas GPU a través de un único endpoint, alcanzando 607.8 tokens por segundo.

Generado por IA: resúmenes redactados por IA a partir de las fuentes enlazadas. Cómo usamos la IA

Generado por IAFuente: Hacker News
01

Resumen fuente

Nvidia publicó una guía para servir GLM-5.3, un modelo de mezcla de expertos cuantizado de 753 mil millones de parámetros de Z.ai con 40 mil millones de parámetros activados por token, en dos DGX Stations conectadas mediante ConnectX-8 RDMA. La configuración utiliza el paralelismo tensorial de vLLM para dividir los pesos y la computación entre ambas GPU a través de un único endpoint, alcanzando 607.8 tokens por segundo.