Skip to content

Infrastructure Llm

Archivo temático • 1 resultados

Generado por IA: resúmenes redactados por IA a partir de las fuentes enlazadas. Cómo usamos la IA

Volver al inicio • GEO summary endpoint

2026-11-14

Tecnología

  • Nvidia publicó una guía para servir GLM-5.3, un modelo de mezcla de expertos cuantizado de 753 mil millones de parámetros de Z.ai con 40 mil millones de parámetros activados por token, en dos DGX Stations conectadas mediante ConnectX-8 RDMA. La configuración utiliza el paralelismo tensorial de vLLM para dividir los pesos y la computación entre ambas GPU a través de un único endpoint, alcanzando 607.8 tokens por segundo.

    Infraestructura • Hacker News

    Enlace permanente