Skip to content
AIインテリジェンスNov 14, 2026AIインテリジェンス
記事

Nvidiaは、Z.ai由来の量子化された7530億パラメータのMixture-of-ExpertsモデルGLM-5.3(トークンごとに400億パラメータが活性化)を…

…ConnectX-8 RDMAで接続された2台のDGX Station間でサーブするためのガイドを公開した。このセットアップではvLLMテンソル並列処理を使用して、1つのエンドポイントを通じて両方のGPUに重みと計算を分散させ、毎秒607.8トークンの速度を実現している。

AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について

AI生成出典: Hacker News
01

ソース要約

Nvidiaは、Z.ai由来の量子化された7530億パラメータのMixture-of-ExpertsモデルGLM-5.3(トークンごとに400億パラメータが活性化)を、ConnectX-8 RDMAで接続された2台のDGX Station間でサーブするためのガイドを公開した。このセットアップではvLLMテンソル並列処理を使用して、1つのエンドポイントを通じて両方のGPUに重みと計算を分散させ、毎秒607.8トークンの速度を実現している。