Infrastructure Llm
トピックアーカイブ • 1 件
AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について
2026-11-14
テクノロジー
Nvidiaは、Z.ai由来の量子化された7530億パラメータのMixture-of-ExpertsモデルGLM-5.3(トークンごとに400億パラメータが活性化)を、ConnectX-8 RDMAで接続された2台のDGX Station間でサーブするためのガイドを公開した。このセットアップではvLLMテンソル並列処理を使用して、1つのエンドポイントを通じて両方のGPUに重みと計算を分散させ、毎秒607.8トークンの速度を実現している。
Infrastructure • Hacker News
パーマリンク