Un nuevo método de aprendizaje inspirado en el cerebro para la IA ahorra memoria y energía
A pesar de las analogías frecuentes, la IA de hoy opera en principios muy diferentes al cerebro humano. Ahora los investigadores han propuesto un nuevo método de aprendizaje más relacionado con la biología, que creen que podría ayudarnos a abordar la eficiencia sin igual del cerebro.
El aprendizaje profundo moderno es, al menos, inspirado biológicamente, codifica información en la fuerza de las conexiones entre grandes redes de unidades informáticas individuales conocidas como neuronas. Sin embargo, probablemente la mayor diferencia es la forma en que estas neuronas se comunican entre sí.
Las redes neuronales artificiales están organizadas en capas, con cada neurona típicamente conectada a cada neurona en la siguiente capa. La información pasa entre capas de manera altamente sincronizada a medida que los números caen en un rango que determina la fuerza de la conexión entre pares de neuronas.
Las neuronas biológicas, por otro lado, se comunican disparando impulsos eléctricos conocidos como picos, y cada neurona lo hace en su propio horario. Las conexiones no se dividen claramente en capas y presentan muchos circuitos de retroalimentación, lo que significa que la salida de una neurona a menudo termina afectando su entrada en algún punto de la línea.
Este enfoque basado en picos es mucho más eficiente energéticamente, por lo que el entrenamiento de la IA más poderosa requiere kilovatios de electricidad mientras que el cerebro usa solo 20 vatios. Eso ha llevado a un creciente interés en el desarrollo de redes neuronales artificiales de punta, así como el llamado hardware neuromórfico, chips de computadora que imitan la organización física y los principios del cerebro, que podrían ejecutarlos de manera más eficiente.
Pero nuestra comprensión de estos enfoques basados en espigas aún está poco desarrollada y luchan por alcanzar el rendimiento de las redes neuronales artificiales más convencionales. Ahora, sin embargo, los investigadores de la Universidad Tecnológica de Graz en Austria piensan que pueden haber encontrado una forma de abordar el poder del aprendizaje profundo utilizando un enfoque de aprendizaje biológicamente plausible que funciona con redes neuronales.
En el aprendizaje profundo, la red se entrena haciendo que haga predicciones sobre los datos y luego evalúa qué tan lejos está. Este error se retrocede a través de la red para guiar los ajustes en la fuerza de las conexiones entre las neuronas. Este proceso se denomina retropropagación, y durante muchas iteraciones sintonizará la red hasta que haga predicciones precisas.
Se puede aplicar un enfoque similar para aumentar las redes neuronales, pero requiere grandes cantidades de memoria. También está claro que no es así como el cerebro resuelve el problema de aprendizaje, porque requiere que las señales de error se envíen hacia atrás tanto en el tiempo como en el espacio a través de las sinapsis entre las neuronas, lo cual es claramente imposible.
Eso llevó a los investigadores, que forman parte del Proyecto Cerebro Humano, a analizar dos características que se han vuelto claras en los datos experimentales de neurociencia: cada neurona retiene un recuerdo de la actividad previa en forma de marcadores moleculares que se desvanecen lentamente con el tiempo; y el cerebro proporciona señales de aprendizaje de arriba hacia abajo utilizando cosas como el neurotransmisor dopamina que modula el comportamiento de grupos de neuronas.
En un papel publicado en Nature Communications, el equipo austriaco describe cómo crearon análogos artificiales de estas dos características para crear un nuevo paradigma de aprendizaje que llaman e-prop. Si bien el enfoque aprende más lentamente que los métodos basados en la propagación hacia atrás, logra un rendimiento comparable.
Más importante aún, permite el aprendizaje en línea. Eso significa que, en lugar de procesar grandes lotes de datos a la vez, lo que requiere una transferencia constante hacia y desde la memoria que contribuye significativamente a las facturas de energía del aprendizaje automático, el enfoque simplemente aprende de los datos a medida que están disponibles. Eso reduce drásticamente la cantidad de memoria y energía que requiere, lo que lo hace mucho más práctico para el aprendizaje en chip en dispositivos móviles más pequeños.
El equipo ahora está trabajando con investigadores de Intel para integrar el enfoque con la próxima versión del chip neuromórfico Loihi de la compañía, que está optimizado para redes de picos. También se están asociando con otros investigadores del Proyecto del Cerebro Humano en la Universidad de Manchester para aplicar e-prop a la supercomputadora neuromórfica SpiNNaker.
Todavía hay un largo camino por recorrer antes de que la técnica pueda igualar el poder de la IA líder de hoy. Pero si nos ayuda a comenzar a acercarnos a las eficiencias que vemos en los cerebros biológicos, podría pasar mucho tiempo antes de que la IA esté en todas partes.