DeepSeek hat DeepInfer, das Inferenz-Framework hinter seinen groß angelegten Modell-Diensten, als Open Source veröffentlicht.

Das Framework unterstützt Nvidia-GPUs und Huawei-Ascend-Prozessoren und umfasst Funktionen wie verteilte Inferenz und spekulative Dekodierung.

KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI