Huawei hat den KI-Speicher OceanStor M900 vorgestellt…

…der auf Hyperscale-Inferenz abzielt und über einen Lingqu-gepoolten KV-Cache von bis zu 64 PB pro Cluster, etwa 60 μs NPU-zu-SSD-Latenz und etwa 40 TB/s aggregierter Bandbreite verfügt. Das System soll KV-Cache-Engpässe beim groß angelegten KI-Serving verringern.

KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI