Selección eficiente de arquitecturas neuronales empleando técnicas destructivas y de regularización

Abstract Authors Available Metrics How to Cite

Abstract (es)

Este artículo presenta una comparación detallada tanto a nivel teórico como práctico de Redes Neuronales Ontogenéticas obtenidas a partir de algoritmos destructivos y de regularización. Inicialmente se desarrolla el concepto de función de error regularizada y las diferentes formas de modificar esta función (weight decay - WD, eliminación de pesos, penalización de Chauvin y suavización de pesos). Luego se muestran los algoritmos destructivos más representativos, prestando especial atención en el OBD (Optimal Brain Damage). Para mostrar la forma de aplicación y funcionamiento de las técnicas destructivas y regularización se seleccionan los algoritmos de WD y OBD en el problema de la función XOR, cuyo resultado óptimo es conocido y que es posible visualizar de forma gráfica fácilmente. Para realizar comparaciones efectivas entre las técnicas, se programa el algoritmo de back-propagation en su forma básica y se realizan modificaciones del mismo para aplicar WD y hallar la matriz Hessiana en OBD. Los resultados muestran las bondades de WD en cuanto a velocidad de ejecución, pero no eliminación estricta de pesos, mientras OBD disminuye la complejidad de la arquitectura de la red neuronal, aunque su costo computacional es elevado.