RedesProfundoAprendizajeyNeuronales
El aprendizaje profundo es actualmente el enfoque más utilizado para aplicaciones como el reconocimiento de objetos visuales, la traducción automática, el reconocimiento de voz, la síntesis de voz y la síntesis de imágenes; también juega un papel importante en las aplicaciones de aprendizaje por refuerzo.
La palabra "profundo" aprendizaje profundo se refiere al hecho de que los algoritmos suelen estar organizados en muchas capas, lo que significa que las rutas de cálculo desde las entradas hasta las salidas tienen muchos pasos.
INTRODUCCION
Si bien las verdaderas razones del éxito del aprendizaje profundo aún no se han dilucidado por completo, tiene ventajas evidentes sobre algunos de los métodos cubiertos en Aprendizaje supervisado, particularmente para datos de alta dimensión como imágenes. Por ejemplo, aunque los métodos como la regresión lineal y logística pueden manejar una gran cantidad de variables de entrada, la ruta de cálculo de cada entrada a la salida es muy corta: multiplicación por un solo peso y luego se suma a la salida agregada. Por eso, una red con todas las entradas conectadas directamente a las salidas se denomina red neuronal de una sola capa, o perceptrón. Además, las diferentes variables de entrada contribuyen de forma independiente a la salida, sin interactuar entre sí. Esto limita significativamente el poder expresivo de tales modelos. Pueden representar solo funciones lineales y límites en el espacio de entrada, mientras que la mayoría de los conceptos del mundo real son mucho más complejos.
Los árboles de decisión, por otro lado, permiten largas rutas de cálculo que pueden depender de muchas variables de entrada, pero solo para una fracción relativamente pequeña de los posibles vectores de entrada. Si un árbol de decisión tiene rutas de cálculo largas para una fracción significativa de las entradas posibles, debe ser exponencialmente grande en el número de variables de entrada. La idea básica del aprendizaje profundo es entrenar circuitos de modo que las rutas de cálculo sean largas, lo que permite que todas las variables de entrada interactúen de manera compleja. Examinemos cómo podemos derivar una función más compleja de nuestra arquitectura de perceptrón original. Considere la siguiente configuración, un perceptrón de dos capas, que es un perceptrón que toma como entrada las salidas de otro perceptrón.
Con esta estructura y pesos adicionales, podemos expresar un conjunto mucho más amplio de funciones. Redes de este tipo se denominan redes neuronales con alimentación-hacia-delante. Estas normalmente se organizan en capas, de forma que cada unidad recibe entradas únicamente de las unidades de la capa que la precede inmediatamente. El modelo de perceptrón original, como revisamos previamente, puede representar solamente funciones linealmente separables, y estas constituyen únicamente una pequeña fracción de todas las funciones. Al aumentar la complejidad de nuestro modelo, aumentamos a su vez en gran medida su poder expresivo. Los perceptrones multicapa nos brindan una forma genérica de representar un conjunto de funciones mucho más amplio. De hecho, un perceptrón multicapa es un aproximador de función universal y puede representar cualquier función real, dejándonos solo con el problema de seleccionar el mejor conjunto de pesos para nuestra red.
Por ejemplo, un perceptrón con función de activación sigmoide tendría una salida funcióndenominadaumbral:
Combinando dos funciones sigmoide de umbral que se opongan, podemos obtener una función cresta: Y finalmente, combinando dos crestas se puede producir un Ymontículo:nosoloeso, sino que cualquier función se puede generar con una combinación multicapa de perceptrones.
¿Qué pasa si expresamos de nuevo los datos de entrada usando características computadas por nuestra red neuronal, es decir, hacemos corresponder cada vector de entrada con un nuevo vector de valores característicos? Los datos en el nuevo espacio (esta vez tridimensional) son linealmente separables en el espacio. Veamos:
Estas redes multicapa nos permiten separar los conjuntos de datos que no son linealmente separables. Tomemos un ejemplo en el que el espacio de entrada bidimensional estuviese poblado por ejemplos positivos en el centro y rodeado de ejemplos negativos; obviamente no existe separador lineal para este problema.
Esta operación es bastante general, si los datos se hacen corresponder a un espacio con una dimensión lo suficientemente alta, son siempre linealmente separables. Aquí definimos como lineal a cualquier hiperplano que divida el espacio dimensional en 2. En este caso se usaron 3 dimensiones, pero no están fácil siempre, se corre el riesgo de sobreajuste; la idea es encontrar el hiperplano optimo, como cuando calculamos el hiperplano en perceptrones. Cuando el separador se proyecta de vuelta al espacio de entrada original, corresponde a fronteras no lineales onduladas entre los ejemplos positivos y negativos.
Y del mismo modo, el proceso puede resultar útil para separar diferentes categorías de datos, no solo clasificar en positivo y negativo. Agregar link: https://phiresky.github.io/kogsys-demos/neural-network-demo/
La visión por computadora es el área de aplicación que posiblemente ha tenido el impacto más significativo en el aprendizaje profundo, y viceversa. Aunque las redes convolucionales profundas se han utilizado desde la década de 1990 para tareas como el reconocimiento de escritura a mano, y las redes neuronales habían comenzado a superar los modelos de probabilidad generativa para el reconocimiento de voz alrededor de 2010, fue el éxito del sistema de aprendizaje profundo de AlexNet en la competencia ImageNet de 2012. que impulsó el aprendizaje profundo al centro de atención. El aprendizaje profundo también ha tenido un gran impacto en las aplicaciones de procesamiento del lenguaje natural, como la traducción automática y el reconocimiento de voz. Algunas ventajas del aprendizaje profundo para estas aplicaciones incluyen la posibilidad de aprendizaje de extremo a extremo, la generación automática de representaciones internas para los significados de las palabras y la intercambiabilidad de codificadores y decodificadores aprendidos.
Finalmente, el aprendizaje profundo es básico en aplicaciones de aprendizaje reforzado, el ultimo tema de esta semana.
