Mixture Of Experts
Arquivo temático • 2 resultados
Gerado por IA: resumos escritos por IA a partir das fontes indicadas. Como usamos a IA
2026-11-11
Tecnologia
A Huawei detalhou como seu chip Kirin 9050 executa um modelo mixture-of-experts de 30 bilhões de parâmetros em um telefone sem conexão com a internet, ativando cerca de 2 bilhões de parâmetros de cada vez. A NPU Da Vinci do chip utiliza quantização de baixo bit e coordena memória e computação para executar o modelo localmente.
Hardware • TechNode
Link permanente
2026-11-14
Tecnologia
A Nvidia publicou um guia para servir o GLM-5.3, um modelo mixture-of-experts quantizado de 753 bilhões de parâmetros da Z.ai com 40 bilhões de parâmetros ativados por token, em duas estações DGX conectadas via RDMA ConnectX-8. A configuração usa paralelismo tensorial vLLM para dividir pesos e computação entre ambas as GPUs através de um único endpoint, alcançando 607,8 tokens por segundo.
Infraestrutura • Hacker News
Link permanente