SWE-bench Verificado fue retirado por contaminación de datos: qué benchmarks de IA quedan en pie

Mi opinión: Mientras cada nueva familia de modelos llega con afirmaciones de rendimiento histórico, vale la pena entender cómo se mide eso y por qué los números hay que leerlos con más contexto que nunca. En febrero de 2026, OpenAI retiró oficialmente el benchmark SWE-bench Verified porque los puntajes habían llegado cerca del 100%, no por capacidad absoluta, sino porque las respuestas estaban presentes en los repositorios públicos que también alimentaron el entrenamiento de los modelos. MMLU sigue el mismo patrón: todos los modelos de frontera superan ya el 88%.

Lo que queda en pie es Humanity's Last Exam (HLE), un conjunto de 2,500 preguntas diseñadas por expertos para resistir la saturación. El mejor puntaje de los modelos actuales es 37.5%, lo que lo convierte en el termómetro más honesto del estado real de la inteligencia artificial hoy. En el frente de código, SWE-bench Pro (1,865 tareas de repositorios profesionales reales) es el nuevo estándar, con Claude Mythos 5 a la cabeza con 80.3%.

Para quien usa IA en su trabajo, el mensaje es concreto: cuando una empresa publique un benchmark con un 90% o 95%, pregunta primero si ese benchmark estuvo en los datos de entrenamiento del modelo. Si la respuesta es sí, el número dice más sobre memorización que sobre capacidad real. ¿Cuál es la forma en que tú evalúas un modelo antes de adoptarlo en tu trabajo o negocio?