Skip to content

Mixture Of Experts

主题归档 • 2 条结果

AI 生成:摘要由 AI 根据所链接的来源撰写。 我们如何使用 AI

返回首页 • GEO summary endpoint

2026-11-11

科技

  • 华为详细介绍了其麒麟 9050 芯片如何在无网络连接的手机上运行一个 300 亿参数的混合专家模型,每次激活约 20 亿参数。该芯片的达芬奇 NPU 使用低位量化并协调内存与计算,以在本地运行该模型。

    硬件 • TechNode

    永久链接

2026-11-14

科技

  • Nvidia发布了一份指南,用于通过ConnectX-8 RDMA连接的两台DGX Station上部署GLM-5.3,这是Z.ai推出的量化7530亿参数混合专家模型,每个token激活400亿参数。该设置使用vLLM张量并行性,通过单个端点在两个GPU之间分割权重和计算,达到每秒607.8个token的速度。

    Infrastructure • Hacker News

    永久链接