Skip to content

Quant

トピックアーカイブ • 2 件

AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について

ホームに戻る • GEO summary endpoint

2026-11-11

テクノロジー

  • Huaweiは、Kirin 9050チップがインターネット接続なしでスマートフォン上で300億パラメータのmixture-of-expertsモデルを実行し、一度に約20億パラメータをアクティブ化する仕組みを詳述した。このチップのDa Vinci NPUは低ビット量子化を使用し、メモリと演算を調整してモデルをローカルで実行する。

    ハードウェア • TechNode

    パーマリンク

2026-11-14

テクノロジー

  • Nvidiaは、Z.ai由来の量子化された7530億パラメータのMixture-of-ExpertsモデルGLM-5.3(トークンごとに400億パラメータが活性化)を、ConnectX-8 RDMAで接続された2台のDGX Station間でサーブするためのガイドを公開した。このセットアップではvLLMテンソル並列処理を使用して、1つのエンドポイントを通じて両方のGPUに重みと計算を分散させ、毎秒607.8トークンの速度を実現している。

    Infrastructure • Hacker News

    パーマリンク