Hypuraは、Apple Silicon向けの新しいLLM推論スケジューラーで、モデルをGPU、RAM、NVMeに分散させます。

これにより、物理メモリより大きなモデルをシステムクラッシュなしで実行できます。この技術を使用すると、31GBのMixtralモデルを32GBのMac Miniで実行できます。

AI生成：要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について