Hypura es un nuevo programador de inferencia de LLM para Apple Silicon que distribuye modelos a través de GPU, RAM y NVMe.

Esto permite ejecutar modelos más grandes que la memoria física sin que el sistema se bloquee. Un modelo Mixtral de 31 GB puede ejecutarse en un Mac Mini de 32 GB utilizando esta tecnología.

Generado por IA: resúmenes redactados por IA a partir de las fuentes enlazadas. Cómo usamos la IA