Skip to content
AI情报Nov 14, 2026AI情报
文章

Nvidia发布了一份指南,用于通过ConnectX-8 RDMA连接的两台DGX Station上部署GLM-5.3,这是Z.ai推出的量化7530亿参数混合专家模型,每个token激活400亿参数。

该设置使用vLLM张量并行性,通过单个端点在两个GPU之间分割权重和计算,达到每秒607.8个token的速度。

AI 生成:摘要由 AI 根据所链接的来源撰写。 我们如何使用 AI

AI 生成来源: Hacker News
01

来源简报

Nvidia发布了一份指南,用于通过ConnectX-8 RDMA连接的两台DGX Station上部署GLM-5.3,这是Z.ai推出的量化7530亿参数混合专家模型,每个token激活400亿参数。该设置使用vLLM张量并行性,通过单个端点在两个GPU之间分割权重和计算,达到每秒607.8个token的速度。