Skip to content
AI情报Mar 24, 2026AI情报
文章

Hypura是一个面向Apple Silicon的新LLM推理调度器,可将模型分布在GPU、RAM和NVMe上。

这使得能够运行大于物理内存的模型而不会导致系统崩溃。使用这项技术,一个31 GB的Mixtral模型可以在32 GB的Mac Mini上运行。

AI 生成:摘要由 AI 根据所链接的来源撰写。 我们如何使用 AI

AI 生成来源: Hacker News
01

来源简报

Hypura是一个面向Apple Silicon的新LLM推理调度器,可将模型分布在GPU、RAM和NVMe上。这使得能够运行大于物理内存的模型而不会导致系统崩溃。使用这项技术,一个31 GB的Mixtral模型可以在32 GB的Mac Mini上运行。

02