DeepSeek a publié DeepInfer, le cadre d'inférence derrière ses services de modèles à grande échelle, en open source.

Le cadre prend en charge les GPU Nvidia et les processeurs Huawei Ascend et comprend des capacités comme l'inférence distribuée et le décodage spéculatif.

Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA