DeepSeek 将其大规模模型服务背后的推理框架 DeepInfer 开源发布。

该框架支持 Nvidia GPU 和华为昇腾处理器，并包含分布式推理和投机解码等功能。

AI 生成：摘要由 AI 根据所链接的来源撰写。 我们如何使用 AI