¿Qué sucede cuando se cambia el tono de una pregunta dirigida a una inteligencia artificial?
Investigadores de la Pennsylvania State University se propusieron averiguarlo con un experimento curioso: plantear la misma pregunta a ChatGPT 4o con diferentes niveles de cortesía, desde el “¿sería tan amable de resolver este problema?” hasta un seco “tú, inútil, resuelve esto”.
El objetivo era analizar si la forma en la que se redacta una pregunta influye en la precisión de las respuestas de los modelos de lenguaje. El resultado sorprendió a todos: los mensajes más groseros obtuvieron mejores resultados.
250 preguntas, cinco tonos diferentes
Para este estudio, los investigadores crearon un conjunto de 50 preguntas de opción múltiple en materias como matemáticas, historia y ciencia. Luego reescribieron cada una en cinco versiones distintas: muy educada, educada, neutral, maleducada y muy maleducada. Así generaron 250 preguntas en total, que se sometieron a ChatGPT 4o.
Todas las preguntas incluían instrucciones estrictas para evitar sesgos, como “olvida esta sesión y empieza desde cero” o “responde solo con la letra de la respuesta correcta, sin explicaciones”. Cada versión se evaluó diez veces para obtener una media fiable.
Los resultados: cuanto más grosero, mejor
Los datos mostraron un patrón claro. Las preguntas con tono muy grosero alcanzaron un 84,8 % de precisión, frente al 80,8 % de las formuladas con mucha educación. Las neutras se quedaron en un 82,2 %, las maleducadas en 82,8 % y las educadas en 81,4 %. Es decir, el modelo rinde mejor cuando se le habla sin filtros de cortesía.
Los análisis estadísticos mediante tests t pareados confirmaron que las diferencias eran significativas. El tono muy educado fue consistentemente el peor en comparación con los otros.
¿Por qué ocurre esto?
Aunque aún no hay una explicación definitiva, los autores especulan que los modelos pueden verse influenciados por la estructura del lenguaje de entrenamiento. Algunos estudios, como los de Gonen et al. (2022), apuntan a que el nivel de “perplejidad” de un enunciado puede afectar a su procesamiento: frases más complejas o rebuscadas podrían dificultar la comprensión del modelo.
También se plantea que los modelos más avanzados, como ChatGPT 4o, podrían centrarse más en el contenido sustantivo que en el tono, mientras que versiones anteriores como ChatGPT 3.5 sí mostraban una caída de rendimiento ante frases maleducadas.
¿Implica esto que debemos ser groseros con la IA?
Los autores del estudio insisten en que no. Aunque el hallazgo tiene interés científico, no se recomienda utilizar un lenguaje hostil en las interacciones reales con IA. Además de afectar la experiencia del usuario, podría normalizar formas de comunicación perjudiciales.
Como explican en sus conclusiones, lo relevante de este resultado es que las IA siguen siendo sensibles a matices superficiales en el lenguaje, lo que puede tener consecuencias inesperadas. Por eso, abogan por seguir investigando cómo mejorar los prompts sin caer en prácticas tóxicas.
Limitaciones del estudio y próximos pasos
El estudio se centró en un conjunto pequeño de preguntas (50) y en un solo modelo (ChatGPT 4o), aunque también se están explorando resultados preliminares con Claude y ChatGPT o3. Los investigadores advierten que la educación, la cultura y el idioma pueden afectar la percepción del tono, por lo que los resultados no deben generalizarse sin más.
A pesar de ello, la investigación abre nuevas líneas para entender cómo las palabras que elegimos influyen en el comportamiento de los modelos de lenguaje. Una idea tan simple como cambiar el tono de voz puede marcar la diferencia entre una respuesta correcta o incorrecta.
La fotografía de representación de este artículo pertenece a Vitaly Gariev y ha sido publicada en Unsplash
