AIインテリジェンスMar 24, 2026AIインテリジェンス
記事
Hypuraは、Apple...
Silicon向けの新しいLLM推論スケジューラーで、モデルをGPU、RAM、NVMeに分散させます。これにより、物理メモリより大きなモデルをシステムクラッシュなしで実行できます。この技術を使用すると、31GBのMixtralモデルを32GBのMac Miniで実行できます。
Data Cube AI 編集部出典: Hacker News
01
ソース要約
Hypuraは、Apple Silicon向けの新しいLLM推論スケジューラーで、モデルをGPU、RAM、NVMeに分散させます。これにより、物理メモリより大きなモデルをシステムクラッシュなしで実行できます。この技術を使用すると、31GBのMixtralモデルを32GBのMac Miniで実行できます。
02