Gpus

Meta hat Prometheus detailliert beschrieben, seinen Supercluster im Gigawatt-Maßstab in Ohio, der in vollem Umfang etwa 1 Million GPUs beherbergen wird. Der Supercluster wurde verwendet, um Metas Muse-Basismodelle zu trainieren.

Infrastruktur • Techmeme

DeepSeek hat DeepInfer, das Inferenz-Framework hinter seinen groß angelegten Modell-Diensten, als Open Source veröffentlicht. Das Framework unterstützt Nvidia-GPUs und Huawei-Ascend-Prozessoren und umfasst Funktionen wie verteilte Inferenz und spekulative Dekodierung.

Infrastructure • TechNode

Google hat sich Amazon angeschlossen und ein Entwicklertool veröffentlicht, das es PyTorch-Nutzern erleichtert, ihre Anwendungen von Nvidia-GPUs wegzubewegen, und damit Nvidias Dominanz in der KI-Entwicklung herausfordert.

Infrastructure • TechCrunch AI

Microsoft kündigt seinen KI-Chip der dritten Generation, Maia, an, der als „primäres KI-Inferenzsystem“ für seine Produkte und Dienste entwickelt wurde. Der Maia 300 zielt darauf ab, Kosten und Effizienz für die Ausführung von KI-Workloads zu verbessern und die Abhängigkeit von Nvidia-GPUs zu verringern.

Infrastruktur • The Verge AI