Intelligence IAJul 8, 2026Intelligence IA
Article
OpenAI constate que près de 30 % des tâches du benchmark SWE-Bench Pro sont défectueuses.
L'entreprise retire sa recommandation précédente d'adopter le benchmark et appelle à la prudence lors de l'évaluation des capacités de codage de l'IA.
Redaction Data Cube AISource: Techmeme
01
Brief source
OpenAI constate que près de 30 % des tâches du benchmark SWE-Bench Pro sont défectueuses. L'entreprise retire sa recommandation précédente d'adopter le benchmark et appelle à la prudence lors de l'évaluation des capacités de codage de l'IA.
02