Skip to content
AIインテリジェンスJul 8, 2026AIインテリジェンス
記事

OpenAIは、SWE-Bench Proベンチマークのタスクの約30%が破損していることを発見しました。

同社は、ベンチマークの採用を推奨していた以前の推奨を撤回し、AIのコーディング能力を評価する際には注意を促しています。

AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について

AI生成出典: Techmeme
01

ソース要約

OpenAIは、SWE-Bench Proベンチマークのタスクの約30%が破損していることを発見しました。同社は、ベンチマークの採用を推奨していた以前の推奨を撤回し、AIのコーディング能力を評価する際には注意を促しています。

02
研究ベンチマーク品質リサーチ号を見る