OpenAI fordert die Abschaffung des populären KI-Coding-Benchmarks SWE-bench Verified.

Das Unternehmen argumentiert, dass die meisten Aufgaben fehlerhaft sind und führende KI-Modelle die Antworten wahrscheinlich bereits aus ihrem Training kennen. Damit messe der Benchmark eher Auswendiglernen als echte Programmierfähigkeiten.

KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI