Skip to content

Mixture Of Experts

Themen-Archiv • 2 Treffer

KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI

Zur Startseite • GEO summary endpoint

2026-11-11

Technologie

  • Huawei hat detailliert beschrieben, wie sein Kirin 9050-Chip ein Mixture-of-Experts-Modell mit 30 Milliarden Parametern auf einem Telefon ohne Internetverbindung ausführt, wobei jeweils etwa 2 Milliarden Parameter aktiviert werden. Der Da Vinci NPU des Chips nutzt Low-Bit-Quantisierung und koordiniert Speicher und Rechenleistung, um das Modell lokal auszuführen.

    Hardware • TechNode

    Direktlink

2026-11-14

Technologie

  • Nvidia veröffentlichte einen Leitfaden zum Serving von GLM-5.3, einem quantisierten Mixture-of-Experts-Modell mit 753 Milliarden Parametern von Z.ai, bei dem pro Token 40 Milliarden Parameter aktiviert werden, über zwei DGX Stations, die über ConnectX-8 RDMA verbunden sind. Die Konfiguration nutzt vLLM-Tensor-Parallelismus, um Gewichte und Berechnungen über beide GPUs durch einen einzigen Endpunkt zu verteilen, was 607,8 Tokens pro Sekunde erreicht.

    Infrastruktur • Hacker News

    Direktlink