Mezcla De Expertos
Archivo temático • 2 resultados
Generado por IA: resúmenes redactados por IA a partir de las fuentes enlazadas. Cómo usamos la IA
2026-11-11
Tecnología
Huawei detalló cómo su chip Kirin 9050 ejecuta un modelo de mezcla de expertos de 30 mil millones de parámetros en un teléfono sin conexión a internet, activando alrededor de 2 mil millones de parámetros a la vez. La NPU Da Vinci del chip utiliza cuantización de bits bajos y coordina la memoria y el cómputo para ejecutar el modelo localmente.
Hardware • TechNode
Enlace permanente
2026-11-14
Tecnología
Nvidia publicó una guía para servir GLM-5.3, un modelo de mezcla de expertos cuantizado de 753 mil millones de parámetros de Z.ai con 40 mil millones de parámetros activados por token, en dos DGX Stations conectadas mediante ConnectX-8 RDMA. La configuración utiliza el paralelismo tensorial de vLLM para dividir los pesos y la computación entre ambas GPU a través de un único endpoint, alcanzando 607.8 tokens por segundo.
Infraestructura • Hacker News
Enlace permanente