Skip to content

Infrastructure Llm

Arquivo temático • 1 resultados

Gerado por IA: resumos escritos por IA a partir das fontes indicadas. Como usamos a IA

Voltar ao início • GEO summary endpoint

2026-11-14

Tecnologia

  • A Nvidia publicou um guia para servir o GLM-5.3, um modelo mixture-of-experts quantizado de 753 bilhões de parâmetros da Z.ai com 40 bilhões de parâmetros ativados por token, em duas estações DGX conectadas via RDMA ConnectX-8. A configuração usa paralelismo tensorial vLLM para dividir pesos e computação entre ambas as GPUs através de um único endpoint, alcançando 607,8 tokens por segundo.

    Infraestrutura • Hacker News

    Link permanente