Hypura est un nouveau planificateur d'inférence LLM pour Apple Silicon qui distribue les modèles sur GPU, RAM et NVMe.

Brief source

Hypura est un nouveau planificateur d'inférence LLM pour Apple Silicon qui distribue les modèles sur GPU, RAM et NVMe. Cela permet d'exécuter des modèles plus grands que la mémoire physique sans plantage du système. Un modèle Mixtral de 31 GB peut s'exécuter sur un Mac Mini de 32 GB en utilisant cette technologie.