Geoffrey Hinton, pionero del aprendizaje profundo, publica un nuevo algoritmo de aprendizaje profundo.

Geoffrey Hinton, profesor en el Universidad de Toronto y becario de ingeniería en Google Brain, publicó recientemente un artículo sobre el Adelante adelante algoritmo (FF), una técnica para entrenar redes neuronales que utiliza dos pasadas hacia adelante de los datos a través de la red, en lugar de propagación hacia atráspara actualizar los pesos del modelo.

La motivación de Hinton para el algoritmo es abordar algunas de las deficiencias del entrenamiento de retropropagación estándar que requiere un conocimiento completo del cálculo en el paso hacia adelante para calcular derivadas y almacenar valores de activación durante el entrenamiento. La idea de Hinton fue utilizar dos pasos hacia adelante de los datos de entrada: uno positivo y un potente negativas—que tienen funciones objetivo opuestas que deben optimizarse. Hinton demostró que las redes entrenadas con FF podían realizar tareas de visión por computadora (CV) tan bien como las entrenadas usando retropropagación. Según Hinton,

El algoritmo de avance-adelante (FF) es comparable en velocidad a la retropropagación, pero tiene la ventaja de poder utilizarse cuando se desconocen los detalles precisos del cálculo hacia adelante. Además, permite el aprendizaje mediante el procesamiento en paralelo de datos secuenciales a través de una red neuronal, sin almacenar la actividad neuronal ni detenerse para propagar las derivadas del error. Dos áreas en las que el algoritmo de avance-adelante puede ser superior a la retropropagación son como modelo de aprendizaje en la corteza cerebral y como método para aprovechar hardware analógico de muy bajo consumo sin recurrir al aprendizaje por refuerzo.

Aunque las redes neuronales artificiales (RNA) se basan en un modelo matemático del cerebroEl algoritmo de retropropagación estándar utilizado para entrenar estas redes no se basa en ningún proceso biológico conocido. Además de ser biológicamente implausible, la retropropagación también tiene algunas desventajas computacionales, como se mencionó anteriormente. Hinton señala que las redes neuronales artificiales (RNA) se pueden entrenar utilizando aprendizaje por refuerzo (RL) sin retropropagación, pero esta técnica "no es escalable... para redes grandes que contienen muchos millones o miles de millones de parámetros". En 2021, InfoQ cubrió una alternativa biológicamente plausible a la retropropagación llamada aprendizaje de inferencia de divergencia cero (Z-IL) que puede reproducir exactamente los resultados de la retropropagación.

El algoritmo FF de Hinton reemplaza los pases hacia adelante y hacia atrás del entrenamiento de retropropagación con dos pases hacia adelante que "operan de la misma manera entre sí". El primer pase hacia adelante opera sobre datos positivos de un conjunto de entrenamiento, y los pesos de la red se ajustan para hacer que esta entrada aumente una capa. best valor. En la segunda pasada hacia adelante, se le proporciona a la red un ejemplo negativo generado que no se toma del conjunto de datos. Los pesos de la red se ajustan de manera que esta entrada disminuya la calidad de una capa.

Hinton utilizó FF para entrenar varias redes neuronales para realizar tareas de visión por computadora en el MNIST  y  CIFAR conjuntos de datos. Las redes eran relativamente pequeñas, contenían dos o tres capas convolucionales ocultas y se entrenaron durante menos de 100 épocas. Al evaluarlas en conjuntos de datos de prueba, las redes entrenadas con FF tuvieron un rendimiento "solo ligeramente inferior" al de las entrenadas con retropropagación.

Diego Fiori, CTO de Nebuly, implementó el algoritmo FF de Hinton y analizó sus resultados en Twitter:

El artículo de Hinton propuso dos algoritmos Forward-Forward diferentes, a los que llamé Base y Recurrent. Veamos por qué, a pesar del nombre, Base es en realidad el algoritmo con mejor rendimiento… El algoritmo Base FF puede ser mucho más eficiente en cuanto a memoria que la retropropagación clásica, con un ahorro de memoria de hasta un 45 % para redes neuronales profundas.