Dragon Hatchling (BDH) es el nombre de una nueva arquitectura de modelo de lenguaje que, según sus creadores, representa el eslabón perdido entre los Transformers y el cerebro humano. Diseñado por un equipo de investigadores de Pathway, BDH toma como inspiración directa la estructura del sistema neuronal humano para desarrollar una red computacional capaz de razonar de forma más natural, general y explicable.
Un modelo inspirado en la biología
A diferencia de los Transformers, basados en operaciones de tensores densos y entrenados mediante retropropagación, BDH se fundamenta en una red de neuronas artificiales que interactúan localmente, organizadas en circuitos excitatorios e inhibitorios. El estado del sistema durante la inferencia se almacena en las conexiones sinápticas, las cuales se ajustan dinámicamente mediante un aprendizaje hebbiano, emulando el principio «neuronas que disparan juntas, se conectan juntas».
Esta dinámica permite a BDH operar como un sistema distribuido, altamente interpretable y con activaciones escasas y positivas. Incluso en modelos con menos de 100 millones de parámetros, los investigadores observaron una monosemanticidad clara: cada neurona representa un único concepto abstracto. Además, la arquitectura exhibe leyes de escalado similares a las de los Transformers, alcanzando rendimientos comparables a GPT-2 en tareas de lenguaje y traducción entre los 10 y 1.000 millones de parámetros.
Interpretabilidad y razonamiento a largo plazo
Uno de los aspectos más llamativos de BDH es su capacidad para ofrecer una representación transparente del proceso de inferencia. Gracias a su diseño basado en grafos y dinámica local, los estados internos del modelo pueden analizarse como una red sináptica en evolución, lo que abre la puerta a un tipo de IA Axiomática, en la que tanto la microdinámica como el comportamiento global del sistema están bien definidos.
El modelo también destaca por su capacidad para generalizar razonamientos a través del tiempo, uno de los retos más complejos para los modelos de lenguaje actuales. BDH introduce el concepto de «límite termodinámico» en los modelos de inferencia, lo que permite estimar su comportamiento a gran escala a partir de observaciones en escalas más pequeñas. Esta propiedad, clave en sistemas biológicos, podría facilitar la validación de IA en contextos donde se requiere confiabilidad a largo plazo.
BDH-GPU: la versión optimizada
Para facilitar su entrenamiento, los autores también han desarrollado BDH-GPU, una versión tensorial optimizada para ejecutar en GPU. Esta variante conserva las propiedades fundamentales del modelo original, utilizando mecanismos de atención lineal y bloques ReLU-lowrank que mantienen la positividad y escasez de las activaciones. BDH-GPU puede entrenarse con retropropagación estándar y ha demostrado seguir las mismas leyes de escalado que los Transformers en tareas de predicción de siguiente token.
El código está disponible en GitHub y los detalles técnicos se explican en un artículo publicado en Pathway.
Un puente entre la IA y la neurociencia
Más allá de su rendimiento, BDH establece un puente conceptual entre la computación neuronal artificial y la biológica. Su diseño permite estudiar cómo podrían operar sistemas de inferencia a escala cerebral y sugiere que el aprendizaje hebbiano podría ser suficiente, junto con circuitos neuronales y mecanismos de atención, para realizar funciones cognitivas complejas como el lenguaje y el razonamiento.
Este enfoque podría revolucionar la forma en que diseñamos y entendemos los modelos de IA. Según sus autores, BDH representa un paso hacia una teoría unificada del razonamiento en inteligencia artificial, con fundamentos tanto en la lógica como en la dinámica física de sistemas distribuidos.
Con Dragon Hatchling, los investigadores no solo proponen una arquitectura más interpretable y biológicamente plausible, sino también una herramienta poderosa para explorar los límites del razonamiento automatizado y su conexión con el pensamiento humano.
