Skip to content

Glm 5 3

Themen-Archiv • 1 Treffer

KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI

Zur Startseite • GEO summary endpoint

2026-11-14

Technologie

  • Nvidia veröffentlichte einen Leitfaden zum Serving von GLM-5.3, einem quantisierten Mixture-of-Experts-Modell mit 753 Milliarden Parametern von Z.ai, bei dem pro Token 40 Milliarden Parameter aktiviert werden, über zwei DGX Stations, die über ConnectX-8 RDMA verbunden sind. Die Konfiguration nutzt vLLM-Tensor-Parallelismus, um Gewichte und Berechnungen über beide GPUs durch einen einzigen Endpunkt zu verteilen, was 607,8 Tokens pro Sekunde erreicht.

    Infrastruktur • Hacker News

    Direktlink