Una inteligencia artificial ha examinado por dentro a otra y la ha reparado. Cuatro investigadores del laboratorio CSAIL del MIT han mostrado indicios de que un modelo de lenguaje puede leer directamente los pesos de una red neuronal, entender qué hace y modificarlos, sin volver a entrenarla.
Lo cuentan en un artículo publicado en su blog el 2 de noviembre, firmado por Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab. Lo titulan «Chispas de la programación en el espacio de pesos», en referencia a que son los primeros indicios. Son resultados preliminares y no han pasado todavía la revisión de otros expertos.
Qué es «programar los pesos»
Una red neuronal guarda todo lo que ha aprendido en millones de números, sus pesos. Normalmente, nadie los toca uno a uno: se ajustan solos durante el entrenamiento, con un proceso matemático que repite millones de pruebas y correcciones. Por eso los modelos de IA se comparan a menudo con una caja negra.
La propuesta del MIT es otra: que un modelo de lenguaje de uso general lea esos números como si fueran código, entienda qué hacen y los reescriba directamente para cumplir un objetivo descrito con palabras, a veces sin poder siquiera probar el resultado. Los autores lo llaman programación en el espacio de pesos.
Para comprobarlo usaron GPT-6 Astra, el modelo de OpenAI presentado en septiembre.
Leer una red sin ponerla en marcha
En los primeros experimentos, Astra solo tenía delante los números. Aun así, identificó a qué videojuego (Breakout, Pong, Pac-Man o Freeway) se había entrenado cada una de las cuatro redes, a partir de sus 17.253 pesos.
También adivinó qué figura (un círculo, un triángulo o un cuadrado) generaba cada uno de tres pequeños modelos de imagen. Las dibujó solo con el contorno, cuando los modelos las rellenaban, algo que los autores interpretan como prueba de que analizó los pesos en lugar de poner en marcha el modelo. Y reconoció con qué tipo de texto (código Python, japonés escrito en alfabeto latino o inglés) se había entrenado cada uno de los tres modelos de lenguaje, mirando solo sus capas intermedias.
Reparar, crear y mejorar
Después pasó de leer a escribir. Una red que controlaba un coche en una rampa simulada fracasaba siempre, en los 256 intentos. Astra modificó el 3,5 % de sus pesos en un solo intento, y el coche lo consiguió en los 1.024 intentos siguientes.
Astra también escribió desde cero redes para tres juegos sencillos, sin datos de entrenamiento. En los tres superó a redes entrenadas durante 100 millones de pasos. Frente a redes entrenadas durante 500 millones de pasos, ganó claramente en Breakout, con 517,4 puntos frente a 25,3, pero no en los otros dos juegos.
El resultado más llamativo llegó con Qwen3.5-0.8B, un modelo pequeño de Alibaba que tendía a quedarse atascado en bucles al razonar. Tras hasta 50 ejecuciones de prueba con problemas de práctica, sin ver nunca los exámenes, Astra localizó el problema en dos de sus capas y cambió 131.072 pesos, apenas el 0,016 % del total. Con 10 o 25 ejecuciones, los bucles casi no se redujeron. Con la red corregida, los aciertos en el examen de matemáticas MATH-500 pasaron del 7,9 % al 48,1 %, y los del conjunto de problemas escolares GSM8K, del 13,8 % al 67,1 %.
La proporción de respuestas que se cortaban por llegar al límite de longitud bajó del 93 % al 33 %. Según DataCamp, Ahsen Khaliq, de Hugging Face, reprodujo después el resultado y obtuvo un 51 % en MATH-500. Los autores han publicado el modelo corregido y los registros de sus experimentos.
Los límites
Los propios investigadores insisten en que son resultados muy iniciales y en que las capacidades actuales son limitadas, sobre todo por la longitud del contexto y las herramientas disponibles.
Hay que añadir que todos los experimentos se hicieron con un solo modelo, Astra, y la red más grande que tocaron tiene unos 800 millones de pesos, muy lejos de los modelos que usamos a diario.
El arreglo de Qwen tampoco convirtió a la red en una experta en matemáticas: lo que hizo fue quitarle un obstáculo. Con Gemma 3 270M, un pequeño modelo de Google que no tenía el problema de los bucles, Astra no consiguió mejoras: su nota en MATH-500 pasó del 6,8 % al 7,7 % como mucho. Editar los pesos pudo quitar un obstáculo que ocultaba una habilidad, pero no pudo añadir una habilidad que el modelo no tenía, concluyen los autores.
Astra tampoco supo distinguir, solo con los pesos, qué versión de un modelo era aduladora y cuál honesta. Lo logró cuando pudo ver además sus patrones de atención, es decir, en qué partes del texto se fijaba.
Y el modelo no se modificó a sí mismo: editó redes ajenas. Los autores solo mencionan la automejora como una posibilidad futura.
Por qué importa
Si la técnica madura, podría servir para auditar modelos sin ponerlos en marcha, por ejemplo para detectar puertas traseras escondidas en sus pesos, o para cambiar su comportamiento sin reentrenarlos y sin que olviden lo que ya sabían, según los autores.
Es una vía nueva para la interpretabilidad, la disciplina que intenta entender qué ocurre dentro de la caja negra, y un tema que ya tratamos al preguntarnos si es posible predecir el desalineamiento de los modelos.
Los investigadores preparan ahora una prueba de referencia y unas herramientas para seguir explorando la técnica, que creen que puede marcar «el comienzo de un cambio drástico» en campos como la interpretabilidad mecanicista y la optimización de redes neuronales.
La fotografía de representación de este artículo pertenece a Dicklyon y ha sido publicada en Wikimedia Commons con licencia CC BY-SA 4.0