Mixture Of Experts
トピックアーカイブ • 2 件
AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について
2026-11-11
テクノロジー
Huaweiは、Kirin 9050チップがインターネット接続なしでスマートフォン上で300億パラメータのmixture-of-expertsモデルを実行し、一度に約20億パラメータをアクティブ化する仕組みを詳述した。このチップのDa Vinci NPUは低ビット量子化を使用し、メモリと演算を調整してモデルをローカルで実行する。
ハードウェア • TechNode
パーマリンク
2026-11-14
テクノロジー
Nvidiaは、Z.ai由来の量子化された7530億パラメータのMixture-of-ExpertsモデルGLM-5.3(トークンごとに400億パラメータが活性化)を、ConnectX-8 RDMAで接続された2台のDGX Station間でサーブするためのガイドを公開した。このセットアップではvLLMテンソル並列処理を使用して、1つのエンドポイントを通じて両方のGPUに重みと計算を分散させ、毎秒607.8トークンの速度を実現している。
Infrastructure • Hacker News
パーマリンク