Un equipo de investigadores de la Universidad Nacional de Educación a Distancia (UNED) en Madrid, España, compuesto por Eva Sánchez Salido, Julio Gonzalo Arroyo y Guillermo Marco, ha realizado este estudio titulado «None of the Others: a General Technique to Distinguish Reasoning from Memorization in Multiple-Choice LLM Evaluation Benchmarks«.
Las pruebas que evalúan la inteligencia artificial están en el centro del debate. Investigadores españoles han descubierto una estrategia sencilla para demostrar que los modelos de IA, como Grok 3 de Elon Musk o GPT-4.5 de OpenAI, pueden estar sobrevalorando sus capacidades reales. Al modificar sutilmente las respuestas de los exámenes, han logrado que estos chatbots pierdan hasta un 93% de precisión. Este hallazgo pone en duda la efectividad de los benchmarks actuales y reabre la discusión sobre el verdadero nivel de razonamiento de la inteligencia artificial.
El artículo fue publicado el 18 de febrero de 2025 en el repositorio arXiv, donde se comparten investigaciones en diversas áreas, incluyendo ciencias de la computación y modelos de lenguaje. Los investigadores presentan un método novedoso para evaluar los modelos de lenguaje. Crearon una variación que disocia la respuesta correcta de las frases o conceptos previamente vistos, obligando a los LLMs (Modelos de Lenguaje de Gran Escala) a demostrar comprensión y capacidad de razonamiento. Este método fue aplicado a dos conjuntos de datos: el benchmark MMLU y el conjunto de datos privado UNED-Access 2024.
El estudio surgió de la creciente preocupación sobre si los LLMs realmente entienden y razonan, o si simplemente están recuperando información de sus datos de entrenamiento. La distinción entre recordar hechos y aplicar razonamiento lógico es crucial para el desarrollo futuro de estas tecnologías, especialmente en aplicaciones que requieren inferencias complejas.
Los hallazgos muestran que todos los modelos evaluados sufren caídas notables en precisión, con una pérdida promedio del 57% en MMLU y del 50% en UNED-Access. Este desafío revela que los modelos dependen en gran medida de la memorización, lo que plantea dudas sobre su capacidad para generalizar a situaciones no vistas.
Este artículo subraya la importancia de diferenciar entre la verdadera comprensión y la mera tasa de recuperación de datos en los modelos de lenguaje actuales. La investigación no solo proporciona herramientas nuevas para evaluar estos sistemas, sino que también plantea preguntas críticas sobre su futuro desarrollo.
Con el auge de los modelos de lenguaje, que muestran un rendimiento impresionante en tareas de procesamiento de lenguaje natural, surge la necesidad de evaluar de manera más precisa sus capacidades de razonamiento. La investigación se centra en determinar si estos modelos realmente pueden razonar o si, en cambio, dependen en gran medida de la memorización de patrones que han encontrado en sus datos de entrenamiento. Este dilema es fundamental, ya que la habilidad para razonar es crucial para aplicaciones que requieren inferencia lógica y comprensión profunda.
Método Introducido
Los autores introducen un método de variación general para preguntas de opción múltiple que busca eliminar la posibilidad de que las respuestas correctas sean recuperadas a partir de la memoria y el reconocimiento de patrones. Este método asegura que la respuesta correcta no esté relacionada con tokens o conceptos previamente vistos, obligando a los modelos a demostrar un entendimiento genuino del contenido y a razonar para responder correctamente. Esta técnica fue aplicada a dos conjuntos de datos: el benchmark público MMLU y el conjunto de datos privado UNED-Access 2024, ambos en inglés y español.
La mayoría de los modelos de inteligencia artificial se entrenan con cantidades masivas de datos disponibles en internet. Esto significa que cuando enfrentan un test, es muy probable que ya hayan visto preguntas similares y sus respuestas correctas. Pero, ¿qué ocurre si se modifica la respuesta correcta? Los investigadores reemplazaron la respuesta válida por una opción general que decía: “Ninguna de las anteriores”. Esto obliga al modelo a razonar y descartar opciones en lugar de simplemente reconocer una respuesta memorizada.
Los resultados fueron impactantes. La precisión de los modelos cayó entre un 10% y un 93%, con una media del 57%. Esto demuestra que los modelos actuales dependen más de la memorización que del razonamiento real. Modelos como GPT-o3 mini y DeepSeek R1-70b mostraron cierta resistencia, pero también bajaron su rendimiento.
Los resultados del estudio son bastante reveladores. Los investigadores informan que se observa una significativa disminución en la precisión de todos los modelos evaluados, con una pérdida promedio del 57% en el MMLU y del 50% en el UNED-Access 2024. Esta caída de rendimiento varía entre los modelos, lo que sugiere que no todos ellos reaccionan de la misma forma a la presión para razonar en lugar de recordar. No solo se demostró una disminución en la precisión, sino que también se identificó que los modelos que lograron el mejor rendimiento en las evaluaciones originales no son necesariamente los que muestran la menor pérdida de rendimiento en el nuevo método. Esto sugiere que la precisión en tareas convencionales no es un indicador fiable de la capacidad de razonamiento inherentemente más compleja de los modelos.
Las pruebas de referencia, o benchmarks, se utilizan para comparar modelos de IA y determinar cuál es “mejor”. Sin embargo, este estudio sugiere que estos tests pueden estar inflando artificialmente la capacidad de las IA. Este problema es especialmente relevante en un momento en que gigantes tecnológicos como xAI de Elon Musk, OpenAI o Anthropic compiten por la supremacía en el mercado de la inteligencia artificial. Cada nuevo lanzamiento viene acompañado de afirmaciones de superioridad, pero este estudio demuestra que las métricas actuales pueden estar sesgadas.
Ethan Mollick, uno de los divulgadores más conocidos en IA, ha expresado preocupaciones similares y pide métodos de evaluación más fiables. Otro punto clave es la diferencia de rendimiento en distintos idiomas. Los modelos de IA funcionan mejor en inglés que en español y otras lenguas minoritarias. Según Gonzalo, «cuanto peor es el modelo, más se nota la diferencia entre idiomas», lo que podría afectar la accesibilidad y privacidad de estos sistemas en regiones donde el inglés no es el idioma principal. Los hallazgos subrayan la dependencia continua de los LLMs en la memorización, revelando que estos modelos son más propensos a recaer en respuestas recuperadas de forma mecánica. En este sentido, los investigadores también observan que los modelos caen más categóricamente en conjuntos de datos públicos y en las versiones originales de las preguntas en comparación con las versiones traducidas, que son menos familiares para los modelos. Esto pone de relieve problemas de contaminación de datos en los conjuntos de entrenamiento y evaluaciones.
El estudio concluye con la afirmación de que, aunque los modelos de lenguaje están a la vanguardia de la tecnología de procesamiento de lenguaje, su capacidad de razonamiento real puede no ser tan robusta como se percibe comúnmente. La investigación invita a una reevaluación de los métodos de evaluación actuales de LLMs, sugiriendo que hay un camino considerable por recorrer para establecer un benchmark que realmente capture la comprensión y la lógica detrás de las respuestas generadas por los modelos. Aun así, el trabajo realizado proporciona un aporte valioso al campo de la evaluación de LLMs, abriendo nuevas vías para investigaciones futuras que puedan reforzar la comprensión de cómo estos sistemas manejan el conocimiento y la lógica.
Este estudio no significa que la inteligencia artificial haya tocado techo, pero sí que su evolución en capacidades de razonamiento es más lenta de lo que se promociona. A pesar de sus limitaciones, los nuevos modelos están empezando a incorporar técnicas más avanzadas de razonamiento, más allá del simple reconocimiento de patrones. Por ejemplo, ChatGPT-o3 mini logró aprobar uno de los benchmarks modificados, lo que sugiere que la próxima generación de IA podría estar avanzando hacia un razonamiento más auténtico.
El debate sobre la evaluación de la inteligencia artificial está lejos de terminar. ¿Se necesitan pruebas más difíciles o simplemente benchmarks mejor diseñados? Por ahora, este estudio deja claro que la verdadera inteligencia artificial aún tiene un largo camino por recorrer.
La fotografía de portada de esta noticia pertenece a la presentación de Julio Gonzalo Arroyo, profesor del Departamento Lenguajes y Sistemas Informáticos en la UNED y uno de los investigadores que ha hecho el estudio, durante el evento «Un Mundo de Fusión Digital. IV Edición» organizado por la UNED.
