Skip to content
Inteligencia IANov 14, 2026Inteligencia IA
Artigo

A Nvidia publicou um guia para servir o GLM-5.3…

…um modelo mixture-of-experts quantizado de 753 bilhões de parâmetros da Z.ai com 40 bilhões de parâmetros ativados por token, em duas estações DGX conectadas via RDMA ConnectX-8. A configuração usa paralelismo tensorial vLLM para dividir pesos e computação entre ambas as GPUs através de um único endpoint, alcançando 607,8 tokens por segundo.

Gerado por IA: resumos escritos por IA a partir das fontes indicadas. Como usamos a IA

Gerado por IAFonte: Hacker News
01

Brief da fonte

A Nvidia publicou um guia para servir o GLM-5.3, um modelo mixture-of-experts quantizado de 753 bilhões de parâmetros da Z.ai com 40 bilhões de parâmetros ativados por token, em duas estações DGX conectadas via RDMA ConnectX-8. A configuração usa paralelismo tensorial vLLM para dividir pesos e computação entre ambas as GPUs através de um único endpoint, alcançando 607,8 tokens por segundo.