Snowflake a introduit le routage dynamique des modèles via sa passerelle Cortex AI Gateway, dirigeant automatiquement les requêtes...
Vers le modèle le plus rentable en fonction de la complexité de la tâche. Les premiers adoptants signalent des réductions allant jusqu'à 3x des dépenses d'inférence tout en maintenant une qualité de sortie constante. Cette fonctionnalité répond à un point de douleur courant en entreprise où les déploiements à modèle fixe gaspillent le budget sur des requêtes triviales ou manquent de capacité pour un raisonnement complexe.
Brief source
Snowflake a introduit le routage dynamique des modèles via sa passerelle Cortex AI Gateway, dirigeant automatiquement les requêtes vers le modèle le plus rentable en fonction de la complexité de la tâche. Les premiers adoptants signalent des réductions allant jusqu'à 3x des dépenses d'inférence tout en maintenant une qualité de sortie constante. Cette fonctionnalité répond à un point de douleur courant en entreprise où les déploiements à modèle fixe gaspillent le budget sur des requêtes triviales ou manquent de capacité pour un raisonnement complexe.