Kv Cache
Arquivo temático • 1 resultados
Gerado por IA: resumos escritos por IA a partir das fontes indicadas. Como usamos a IA
2026-09-18
Tecnologia
A H uawei apresentou o armazenamento de memória para IA OceanStor M900, voltado para inferência em hiperescala com um cache KV em pool Lingqu de até 64 PB por cluster, latência de ~60μs de NPU para SD e largura de banda agregada de ~40 TB/s. O sistema visa aliviar os gargalos de cache KV na servição de IA em grande escala.
Infraestrutura de IA • Pandaily
Link permanente