Hypura ist ein neuer LLM-Inference-Scheduler für Apple Silicon, der Modelle über GPU, RAM und NVMe verteilt.

Dies ermöglicht das Ausführen von Modellen, die größer sind als der physische Speicher, ohne Systemabstürze. Ein 31 GB Mixtral-Modell läuft damit auf einem 32 GB Mac Mini.

KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI