Kv Cache
Archive thématique • 1 résultats
Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA
2026-09-18
Technologie
Huawei a dévoilé le stockage mémoire OceanStor M900 pour l'IA, visant l'inférence hyperscale avec un cache KV en pool Lingqu jusqu'à 64 PB par cluster, une latence NPU vers SSD de ~60μs et une bande passante agrégée de ~40 TB/s. Le système vise à atténuer les goulots d'étranglement du cache KV dans le service d'IA à grande échelle.
Infrastructure IA • Pandaily
Lien permanent