Huawei는 OceanStor M900 AI 메모리 스토리지를 공개했다.

이는 클러스터당 최대 64 PB의 Lingqu-풀링 KV 캐시, 약 60μs의 NPU-SSD 지연 시간, 약 40 TB/s의 총 대역폭을 갖춘 하이퍼스케일 추론을 겨냥한다. 이 시스템은 대규모 AI 서빙에서 KV 캐시 병목 현상을 완화하는 것을 목표로 한다.

AI 생성: 요약은 링크된 출처를 바탕으로 AI가 작성했습니다. AI 활용 방식