Hypura是一个面向Apple Silicon的新LLM推理调度器，可将模型分布在GPU、RAM和NVMe上。这使得能够运行大于物理内存的模型而不会导致系统崩溃。使用这项技术，一个31 GB的Mixtral模型可以在32 GB的Mac Mini上运行。

来源简报

Hypura是一个面向Apple Silicon的新LLM推理调度器，可将模型分布在GPU、RAM和NVMe上。这使得能够运行大于物理内存的模型而不会导致系统崩溃。使用这项技术，一个31 GB的Mixtral模型可以在32 GB的Mac Mini上运行。