Quant
主题归档 • 2 条结果
AI 生成:摘要由 AI 根据所链接的来源撰写。 我们如何使用 AI
2026-11-11
科技
华为详细介绍了其麒麟 9050 芯片如何在无网络连接的手机上运行一个 300 亿参数的混合专家模型,每次激活约 20 亿参数。该芯片的达芬奇 NPU 使用低位量化并协调内存与计算,以在本地运行该模型。
硬件 • TechNode
永久链接
2026-11-14
科技
Nvidia发布了一份指南,用于通过ConnectX-8 RDMA连接的两台DGX Station上部署GLM-5.3,这是Z.ai推出的量化7530亿参数混合专家模型,每个token激活400亿参数。该设置使用vLLM张量并行性,通过单个端点在两个GPU之间分割权重和计算,达到每秒607.8个token的速度。
Infrastructure • Hacker News
永久链接