Kv Cache
トピックアーカイブ • 1 件
AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について
2026-09-18
テクノロジー
HuaweiはOceanStor M900 AIメモリストレージを発表し、クラスタあたり最大64PBのLingquプールKVキャッシュ、約60μsのNPU-to-SSDレイテンシ、約40 TB/sの総帯域幅でハイパースケール推論をターゲットにしている。このシステムは、大規模AIサービングにおけるKVキャッシュのボトルネックを緩和することを目的としている。
AI Infrastructure • Pandaily
パーマリンク