Hypura ist ein neuer LLM-Inference-Scheduler für Apple Silicon, der Modelle über GPU, RAM und NVMe verteilt.

Source Brief

Hypura ist ein neuer LLM-Inference-Scheduler für Apple Silicon, der Modelle über GPU, RAM und NVMe verteilt. Dies ermöglicht das Ausführen von Modellen, die größer sind als der physische Speicher, ohne Systemabstürze. Ein 31 GB Mixtral-Modell läuft damit auf einem 32 GB Mac Mini.