Llm Infrastructure
Themen-Archiv • 1 Treffer
KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI
2026-11-14
Technologie
Nvidia veröffentlichte einen Leitfaden zum Serving von GLM-5.3, einem quantisierten Mixture-of-Experts-Modell mit 753 Milliarden Parametern von Z.ai, bei dem pro Token 40 Milliarden Parameter aktiviert werden, über zwei DGX Stations, die über ConnectX-8 RDMA verbunden sind. Die Konfiguration nutzt vLLM-Tensor-Parallelismus, um Gewichte und Berechnungen über beide GPUs durch einen einzigen Endpunkt zu verteilen, was 607,8 Tokens pro Sekunde erreicht.
Infrastruktur • Hacker News
Direktlink