Infrastructure Llm
Archivo temático • 1 resultados
Generado por IA: resúmenes redactados por IA a partir de las fuentes enlazadas. Cómo usamos la IA
2026-11-14
Tecnología
Nvidia publicó una guía para servir GLM-5.3, un modelo de mezcla de expertos cuantizado de 753 mil millones de parámetros de Z.ai con 40 mil millones de parámetros activados por token, en dos DGX Stations conectadas mediante ConnectX-8 RDMA. La configuración utiliza el paralelismo tensorial de vLLM para dividir los pesos y la computación entre ambas GPU a través de un único endpoint, alcanzando 607.8 tokens por segundo.
Infraestructura • Hacker News
Enlace permanente