Infrastructure Llm
Arquivo temático • 1 resultados
Gerado por IA: resumos escritos por IA a partir das fontes indicadas. Como usamos a IA
2026-11-14
Tecnologia
A Nvidia publicou um guia para servir o GLM-5.3, um modelo mixture-of-experts quantizado de 753 bilhões de parâmetros da Z.ai com 40 bilhões de parâmetros ativados por token, em duas estações DGX conectadas via RDMA ConnectX-8. A configuração usa paralelismo tensorial vLLM para dividir pesos e computação entre ambas as GPUs através de um único endpoint, alcançando 607,8 tokens por segundo.
Infraestrutura • Hacker News
Link permanente