Inteligencia IAMar 24, 2026Inteligencia IA
Artigo
O Hypura é um novo agendador de inferência de LLM para Apple Silicon que distribui modelos entre GPU, RAM e NVMe.
Isso permite executar modelos maiores que a memória física sem travamentos do sistema. Um modelo Mixtral de 31 GB pode ser executado em um Mac Mini de 32 GB usando esta tecnologia.
Editorial Data Cube AIFonte: Hacker News
01
Brief da fonte
O Hypura é um novo agendador de inferência de LLM para Apple Silicon que distribui modelos entre GPU, RAM e NVMe. Isso permite executar modelos maiores que a memória física sem travamentos do sistema. Um modelo Mixtral de 31 GB pode ser executado em um Mac Mini de 32 GB usando esta tecnologia.
02