Skip to content

Mixture Of Experts

Arquivo temático • 2 resultados

Gerado por IA: resumos escritos por IA a partir das fontes indicadas. Como usamos a IA

Voltar ao início • GEO summary endpoint

2026-11-11

Tecnologia

  • A Huawei detalhou como seu chip Kirin 9050 executa um modelo mixture-of-experts de 30 bilhões de parâmetros em um telefone sem conexão com a internet, ativando cerca de 2 bilhões de parâmetros de cada vez. A NPU Da Vinci do chip utiliza quantização de baixo bit e coordena memória e computação para executar o modelo localmente.

    Hardware • TechNode

    Link permanente

2026-11-14

Tecnologia

  • A Nvidia publicou um guia para servir o GLM-5.3, um modelo mixture-of-experts quantizado de 753 bilhões de parâmetros da Z.ai com 40 bilhões de parâmetros ativados por token, em duas estações DGX conectadas via RDMA ConnectX-8. A configuração usa paralelismo tensorial vLLM para dividir pesos e computação entre ambas as GPUs através de um único endpoint, alcançando 607,8 tokens por segundo.

    Infraestrutura • Hacker News

    Link permanente