Kv Cache
Themen-Archiv • 1 Treffer
KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI
2026-09-18
Technologie
Huawei hat den KI-Speicher OceanStor M900 vorgestellt, der auf Hyperscale-Inferenz abzielt und über einen Lingqu-gepoolten KV-Cache von bis zu 64 PB pro Cluster, etwa 60 μs NPU-zu-SSD-Latenz und etwa 40 TB/s aggregierter Bandbreite verfügt. Das System soll KV-Cache-Engpässe beim groß angelegten KI-Serving verringern.
KI-Infrastruktur • Pandaily
Direktlink