Mixture Of Experts
Archive thématique • 2 résultats
Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA
2026-11-11
Technologie
Huawei a détaillé comment sa puce Kirin 9050 exécute sur un téléphone, sans connexion internet, un modèle de mélange d'experts de 30 milliards de paramètres, en activant environ 2 milliards de paramètres à la fois. Le NPU Da Vinci de la puce utilise une quantification à faible nombre de bits et coordonne mémoire et calcul pour exécuter le modèle localement.
Matériel • TechNode
Lien permanent
2026-11-14
Technologie
Nvidia a publié un guide pour servir GLM-5.3, un modèle mixture-of-experts quantifié de 753 milliards de paramètres de Z.ai avec 40 milliards de paramètres activés par token, sur deux DGX Stations connectées via ConnectX-8 RDMA. La configuration utilise le parallélisme tensoriel de vLLM pour répartir les poids et le calcul sur les deux GPU via un point de terminaison unique, atteignant 607,8 tokens par seconde.
Infrastructure • Hacker News
Lien permanent