Quant
Themen-Archiv • 2 Treffer
KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI
2026-11-11
Technologie
Huawei hat detailliert beschrieben, wie sein Kirin 9050-Chip ein Mixture-of-Experts-Modell mit 30 Milliarden Parametern auf einem Telefon ohne Internetverbindung ausführt, wobei jeweils etwa 2 Milliarden Parameter aktiviert werden. Der Da Vinci NPU des Chips nutzt Low-Bit-Quantisierung und koordiniert Speicher und Rechenleistung, um das Modell lokal auszuführen.
Hardware • TechNode
Direktlink
2026-11-14
Technologie
Nvidia veröffentlichte einen Leitfaden zum Serving von GLM-5.3, einem quantisierten Mixture-of-Experts-Modell mit 753 Milliarden Parametern von Z.ai, bei dem pro Token 40 Milliarden Parameter aktiviert werden, über zwei DGX Stations, die über ConnectX-8 RDMA verbunden sind. Die Konfiguration nutzt vLLM-Tensor-Parallelismus, um Gewichte und Berechnungen über beide GPUs durch einen einzigen Endpunkt zu verteilen, was 607,8 Tokens pro Sekunde erreicht.
Infrastruktur • Hacker News
Direktlink