Kv Cache
Archivo temático • 1 resultados
Generado por IA: resúmenes redactados por IA a partir de las fuentes enlazadas. Cómo usamos la IA
2026-09-18
Tecnología
Huawei presentó el almacenamiento de memoria de IA OceanStor M900, dirigido a la inferencia a hiperescala con una caché KV agrupada por Lingqu de hasta 64 PB por clúster, latencia NPU a SSD de ~60μs y ancho de banda agregado de ~40 TB/s. El sistema tiene como objetivo aliviar los cuellos de botella de la caché KV en el servicio de IA a gran escala.
Infraestructura de IA • Pandaily
Enlace permanente