Hypura est un nouveau planificateur d'inférence LLM pour Apple Silicon qui distribue les modèles sur GPU, RAM et NVMe.

Cela permet d'exécuter des modèles plus grands que la mémoire physique sans plantage du système. Un modèle Mixtral de 31 GB peut s'exécuter sur un Mac Mini de 32 GB en utilisant cette technologie.

Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA