AIインテリジェンスNov 14, 2026AIインテリジェンス
記事
Nvidiaは、Z.ai由来の量子化された7530億パラメータのMixture-of-ExpertsモデルGLM-5.3(トークンごとに400億パラメータが活性化)を…
…ConnectX-8 RDMAで接続された2台のDGX Station間でサーブするためのガイドを公開した。このセットアップではvLLMテンソル並列処理を使用して、1つのエンドポイントを通じて両方のGPUに重みと計算を分散させ、毎秒607.8トークンの速度を実現している。
AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について
AI生成出典: Hacker News
01
ソース要約
Nvidiaは、Z.ai由来の量子化された7530億パラメータのMixture-of-ExpertsモデルGLM-5.3(トークンごとに400億パラメータが活性化)を、ConnectX-8 RDMAで接続された2台のDGX Station間でサーブするためのガイドを公開した。このセットアップではvLLMテンソル並列処理を使用して、1つのエンドポイントを通じて両方のGPUに重みと計算を分散させ、毎秒607.8トークンの速度を実現している。