A OpenAI pede a aposentadoria do popular benchmark de codificação de IA SWE-bench Verified.

A empresa argumenta que a maioria das tarefas é falha e que os principais modelos de IA provavelmente já viram as respostas em seu treinamento. Assim, o benchmark mede a memorização em vez da habilidade real de programação.

Gerado por IA: resumos escritos por IA a partir das fontes indicadas. Como usamos a IA