Redes
NOVIEMBRE 2016
Neuronales
REDES
FEEDFORWARD
HISTORIA DE LAS
REDES NEURONALES
ULTIMOS AVANCES DE LAS REDES NEURONALES
01 MULTIPURPOSEMGZ | 1
HISTORIA DE LAS REDES NEURONALES
HISTORIA DE LAS
REDES NEURONALES El hombre se ha caracterizado siempre por su búsqueda constante de nuevas vías para mejorar sus condiciones de vida. Estos esfuerzos le han servido para reducir el trabajo en aquellas operaciones en las que la fuerza juega un papel primordial.
Los
progresos obtenidos han permitido
dirigir estos esfuerzos a otros campos, como por ejemplo, a la construcción de máquinas calculadoras que ayuden a resolver de forma automática y rápida determinadas operaciones que resultan tediosas cuando se realizan a mano.
L
os progresos obtenidos han permitido dirigir estos esfuerzos a otros campos, como por ejemplo, a la construcción de máquinas calculadoras que ayuden a resolver de forma automática y rápida determinadas operaciones que resultan tediosas cuando se realizan a mano. harles Babbage trató de construir una máquina capaz de resolver problemas matemáticos. Posteriormente otros tantos intentaron construir máquinas similares, pero no fue hasta la Segunda Guerra Mundial, cuando ya se disponía de instrumentos electrónicos, que se empezaron a recoger los primeros frutos. En 1946 se construyó la primera computadora electrónica, ENIAC. Desde entonces los desarrollos en este campo han tenido un auge espectacular.
C
2 | MULTIPURPOSEMGZ
E
stas máquinas permiten implementar fácilmente algoritmos para resolver multitud de problemas que antes resultaban engorrosos de resolver. Sin embargo, se observa una limitación importante: ¿qué ocurre cuando el problema que se quiere resolver no admite un tratamiento algorítmico, como es el caso, por ejemplo, de la clasificación de objetos por rasgos comunes? Este ejemplo demuestra que la construcción de nuevas máquinas más versátiles requiere un enfoque del problema desde otro punto de vista. Los desarrollos actuales de los científicos se dirigen al estudio de las capa-
La información se representan en el cerebro mediante un conjunto de neuronas activas o inactivas.
cidades humanas como una fuente de nuevas ideas para el diseño de las nuevas máquinas. Así, la inteligencia artificial es un intento por descubrir y describir aspectos de la inteligencia humana que pueden ser simulados mediante máquinas. Esta disciplina se ha desarrollado fuertemente en los últimos años teniendo aplicación en algunos campos como visión artificial, demostración de teoremas, procesamiento de información expresada mediante lenguajes humanos... etc. Las redes neuronales son más que otra forma de emular ciertas características propias de los humanos, como la capacidad de memorizar y de asociar hechos. Si se examinan con atención aquellos problemas que no pueden expresarse a través de un algoritmo, se observará que todos ellos tienen una característica en común: la experiencia. El hombre es capaz
de resolver estas situaciones acudiendo a la experiencia acumulada. Así, parece claro que una forma de aproximarse al problema consista en la construcción de sistemas que sean capaces de reproducir esta característica humana. En
red neuronal es “un nuevo sistema para el tratamiento de la información, cuya unidad básica de procesamiento está inspirada en la célula fundamental del sistema nervioso humano: la neurona”.
Todos
los procesos del cuerpo humano se relacionan en alguna u otra forma con la inactividad de estas neuronas. definitiva, las redes neuronales no son más que un modelo artificial y simplificado del cerebro humano, que es el ejemplo más perfecto del que disponemos para un sistema que es capaz de adquirir conocimiento a través de la experiencia. Una
T
ambién, es bien conocido que los humanos son capaces de aprender. Aprendizaje significa que aquellos problemas que inicialmente no pueden resolverse, pueden ser resueltos después
de obtener más información acerca del problema. Por lo tanto, las Redes Neuronales: Consisten de unidades de procesamiento que intercambian datos o información. Se utilizan para reconocer patrones, incluyendo imágenes, manuscritos y secuencias de tiempo, tendencias financieras.Tienen capacidad de aprender y mejorar su funcionamiento.
U
na primera clasificación de los modelos de redes neuronales podría ser, atendiendo a su similitud con la realidad biológica: El modelo de tipo biológico. Este comprende las redes que tratan de simular los sistemas neuronales biológicos, así como las funciones auditivas o algunas funciones básicas de la visión.
MULTIPURPOSEMGZ | 3
E
l modelo dirigido a aplicación. Este modelo no tiene por qué guardar similitud con los sistemas biológicos. Su arquitectura está fuertemente ligada a las necesidades de las aplicaciones para la que es diseñada. Conseguir diseñar y construir máquinas capaces de realizar procesos con cierta inteligencia ha sido uno de los principales objetivos de los científicos a lo largo de la historia. De los intentos realizados en este sentido se han llegado a definir las líneas fundamentales para la obtención de máquinas inteligentes: En un principio los esfuerzos estuvieron dirigidos a la obtención de autómatas, en el sentido de máquinas que realizaran, con más o menos éxito, alguna función típica de los seres humanos. Hoy en día se continúa estudiando en ésta misma línea, con resultados sorprendentes, existen maneras de realizar procesos similares a los inteligentes y que podemos encuadrar dentro de la llamada Inteligencia Artificial (IA).
L
A
pesar de disponer de herramientas y lenguajes de programación diseñados expresamente para el desarrollo de máquinas inteligentes, existe un enorme problema que limita los resultados que se pueden obtener: estas máquinas se implementan sobre computadoras basadas en la filosofía de Von Neumann, y que se apoyan en una descripción secuencial del proceso de tratamiento de la información. Si bien el desarrollo de estas computadoras es espectacular, no deja de seguir la línea antes expuesta: una máquina que es capaz de realizar tareas mecánicas de forma increíblemente rápida, como por ejemplo cálculo, ordenación o control, pero incapaz de obtener resultados aceptables cuando se trata de tareas como reconocimiento de formas, voz, etc.
4 | MULTIPURPOSEMGZ
L
La otra línea de la investigación ha tratado de aplicar principios físicos que rigen en la naturaleza para obtener máquinas que realicen trabajos pesados en nuestro lugar. De igual manera se puede pensar respecto a la forma y capacidad de razonamiento humano; se puede intentar obtener máquinas con esta capacidad basadas en el mismo principio de funcionamiento.
Debido a su constitución y a sus fundamentos, las redes neuronales artificiales presentan un gran número de características semejantes a las del cerebro.
PRIMERAS EXPLICACIONES TEORICAS
PRIMERAS
EXPLICACIONES TEORICAS No se trata de construir máquinas que compitan con los seres humanos, sino que realicen ciertas tareas de rango intelectual con que ayudarle, principio básico de la Inteligencia Artificial. Las primeras explicaciones teóricas sobre el cerebro y el pensamiento ya fueron dadas ya por Platón (427-347 a.C.) y Aristóteles (348-422 a.C.). Las mismas ideas también las mantuvo Descartes (1569-1650) y los filósofos empiristas del siglo XVIII. La clase de las llamadas
máquinas cibernéticas, a la cual la computación neuronal pertenece, tiene más historia de la que se cree: Herón (100 a.C) construyó un autómata hidráulico. 1936 - Alan Turing. Fue el primero en estudiar el cerebro como una forma de ver el mundo de la computación. Sin
embargo, los primeros teóricos que concibieron los fundamentos de la computación neuronal fueron Warren McCulloch, un neurofisiólogo, y Walter Pitts, un matemático, quienes, en 1943, lanzaron una teoría acerca de la forma de trabajar de las neuronas (Un Cálculo Lógico
de la Inminente Idea de la Actividad Nerviosa - Boletín de Matemática Biofísica 5: 115-133). Ellos modelaron una red neuronal simple mediante circuitos eléctricos. 1949 - Donald Hebb. Escribió un importante libro: La organización del comportamiento, en el que se establece
ALAN TURING
ADD TITTLE PHOTO
SAlan Mathison Turing, OBE (Paddington, Londres, 23 de junio de 1912-Wilmslow, Cheshire, 7 de junio de 1954), fue un matemático, lógico, científico de la computación, criptógrafo, filósofo, maratoniano y corredor de ultra distancia británico. Durante la segunda guerra mundial, trabajó en descifrar los códigos nazis, particularmente los de la máquina Enigma, y durante un tiempo fue el director de la sección Naval Enigma de Bletchley Park. Se ha estimado que su trabajo acortó la duración de esa guerra entre dos y cuatro años.7 Tras la guerra, diseñó uno de los primeros computadores electrónicos programables digitales en el Laboratorio Nacional de Física del Reino Unido y poco tiempo después construyó otra de las primeras máquinas en la Universidad de Mánchester.
Steridees constesimus, qua rei con senatusciam tumenatua caperibus ce cris; iacis fatem cum iam dem dientu converfictum sedet, sulvivivitia Ex nos viverfec forisque idem fure, ninemorem Romnentrae acte iam tuitere, ne macchil tasdamIquo con nis erehebunum unihili ssultorac forumente cons nons de te es hin videlicae prici iaelicae in viventeri culut L. Os, qua dit C. Imillar isturo intenda ctabem cotant, C. Mulostra acis hocure adernicio ut con videm publis inessulut acivit ex nox nerat, cus avesi cresses inerena merficasta, tum, Cupici praet noriviris, orte fentraelus bon inata Si consign onihilius bonfecrum is. Ahabusci sate atum egit, et vissoliu morum et for arbit, manum sed aucon verevitanum es abissun teris. Egera deaturs M. Vere ex mis bon Itat. Cum es cae peri caed sciaessim ego nos intilib emorae tus aus eterit
MULTIPURPOSEMGZ | 5
RED FEEDFORWARD
RED NEURONAL Feedforward FEEDFORWARD ARTIFICIAL NEURONAL NETWORK FANN) CORRESPONDE A LA CLASE DE ANN MÁS ESTUDIADA POR EL ÁMBITO CIENTÍFICO Y LA MÁS UTILIZADA EN LOS DIVERSOS CAMPOS DE APLICACIÓN.
S
on aquellas que disponen las neuronas agrupadas en varias capas. La forma para distinguir la capa a la que pertenece una neurona, consistiría en fijarse en el origen de las señales que recibe en la entrada y el destino de la señal de salida. Normalmente, todas las neuronas de una capa reciben señales de entrada de otra capa anterior, más cercana a la entrada de la red, y envían su señal de salida a una capa posterior, más cercana a la salida de la red. A estas conexiones se les denominan conexiones hacia delante o feedforward. Las señales través de se propagan hacia adelante a través de las capas de la red. No existen conexiones hacia atrás, y normalmente tampoco auto recurrentes, ni laterales, excepto los modelos de red propuestos por Kohonen. as redes feedforward más conocidas son: PERCEPTRON, ADALINE, MADALINE, LINEAR ADAPTATIVE MEMORY, DRIVE-REINFORCEMENT, BACKPROPAGATION. Todas ellas son útiles en aplicaciones de reconocimiento o clasificación de patrones. edes neuronales de avance múltiple (MLF) Las redes neuronales de MLF, entrenadas con un algoritmo de aprendizaje de retro propagación, son las redes neuronales más populares. Se aplican a una amplia variedad de problemas relacionados con la química. Una red neural MLF consiste en neuronas, que se ordenan en capas (Fig. 1). La primera capa se denomina capa de entrada, la última capa se
L
R
6 | MULTIPURPOSEMGZ
denomina capa de salida y las capas entre ellas son capas ocultas. Para la descripción formal de las neuronas podemos utilizar la llamada función de asignación r, que asigna para cada neurona i un subconjunto T (i) c V que consiste en todos los antepasados de la neurona dada. Un subconjunto T ‘(i) c V que consiste en todos los predecesores de la neurona dada i. Cada neurona de una capa en particular está conectada con todas las neuronas de la siguiente capa. La conexión entre la i-ésima y la quinta neurona se caracteriza por el coeficiente de peso wij y la i-ésima neurona por el coeficiente de umbral rYi (Figura 2). El coeficiente de peso refleja el grado de importancia de la conexión dada en la red neuronal.ción de salida bipolar. a red neural de MLF opera en dos modos: el entrenamiento y el modo de predicción. Para el entrenamiento de la red neural MLF y para la predicción usando la red neuronal MLF necesitamos dos conjuntos de datos, el conjunto de entrenamiento y el conjunto que queremos predecir (conjunto de pruebas). El modo de entrenamiento comienza con valores arbitrarios de los pesos - pueden ser números aleatorios - y procede iterativamente. Cada iteración del conjunto de entrenamiento completo se llama una interacción. En cada interacción, la red ajusta los pesos en la dirección que reduce el error. A medida que el proceso iterativo de ajuste incremental continúa, los pesos convergen gradualmente hacia el conjunto de valores localmente óptimo. Muchas interacciones se requieren generalmente antes de que se complete el entrenamiento. Para un conjunto de entrenamiento determinado, el aprendizaje de propagación posterior puede proceder de dos maneras básicas: modo patrón y modo por lotes. En el modo de patrón de aprendizaje de retropropagación, la actualización de peso se realiza después de la presentación de cada patrón de entrenamiento. En el modo por lotes de aprendizaje de retropropagación, la actualización de peso se realiza después de la presentación de todos los ejemplos de entrenamiento (es decir, después de todas las interacciones). Desde un punto de vista ‘on-line’, se prefiere el modo patrón
L
sobre el modo por lotes, porque requiere menos almacenamiento local para cada conexión sináptica. Por otra parte, dado que los patrones se presentan a la red de forma aleatoria, el uso de la actualización patrón por patrón de pesos hace que la búsqueda en el espacio de peso estocástico, lo que hace menos probable que el algoritmo de propagación posterior sea atrapado en Un mínimo local. Por otra parte, el uso del modo discontinuo de entrenamiento proporciona una estimación más precisa del vector de gradiente. El modo de patrón es necesario utilizar por ejemplo en el control de proceso en línea, porque no hay todos los patrones de entrenamiento disponibles en el tiempo dado. En el análisis final, la efectividad relativa de los dos modos de
Steridees constesimus, qua rei con senatusciam tumenatm tu converfictum sedet, sulvivivitiaEndite doluptatius nusa volo es audae nullit adis ussenes eaturitiis mossum cum dolum esciduciatem faccu
MULTIPURPOSEMGZ | 7
8 | MULTIPURPOSEMGZ
ejemplos del conjunto de pruebas. El sobreajuste puede ser comparado con la elección incorrecta del grado de polinomio en la regresión polinómica. La sobremodificación severa puede ocurrir con datos ruidosos, incluso cuando hay muchos más casos de entrenamiento que pesos. La condición básica para una buena generalización es un conjunto suficientemente grande de los casos de entrenamiento. Este conjunto de entrenamiento debe ser en el mismo tiempo subconjunto representativo del conjunto de todos los casos que desea generalizar. La importancia de esta condición está relacionada con el hecho de que hay dos tipos diferentes de generalización: la interpolación y la extrapolación. La interpolación se aplica a los casos que están más o menos rodeados de casos de entrenamiento cercanos; Todo lo demás es extrapolación. En particular, los casos que están fuera del rango de los datos de entrenamiento requieren una extrapolación. A menudo, la interpolación puede hacerse con fiabilidad, pero la extrapolación es notoriamente poco fiable. Por lo tanto, es importante contar con suficientes datos de formación para evitar la necesidad de extrapolación. Métodos para la selección de buenos conjuntos de formación surgen de diseño experimental.
entrenamiento depende del problema resuelto [f & 71. En el modo de predicción, la información fluye hacia adelante a través de la red, desde entradas hasta salidas. La red- Procesa un ejemplo a la vez, produciendo una estimación del valor o valores de salida basados en los valores de entrada. El error resultante se utiliza como una estimación de la calidad de la predicción de la red entrenada. En el aprendizaje de retro-propagación, usualmente comenzamos con un conjunto de entrenamiento y usamos el algoritmo de propagación posterior para calcular los pesos sinápticos de la red. La esperanza es que la red neural así diseñada generalizará. Se dice que una red se genera bien cuando la relación entrada-salida calculada por la red es correcta (o casi correcta) para patrones de entrada / salida nunca utilizados en la formación de la red. La generalización no es una propiedad mística de las redes neuronales, pero puede compararse con el efecto de una buena interpolación no lineal de los datos de entrada [S. Cuando el proceso de aprendizaje se repite demasiadas iteraciones (es decir, la red neural está sobreentrenada o sobredimensionada, entre overtrainig y overfitting no hay diferencia), la red puede memorizar los datos de entrenamiento y por lo tanto ser menos capaz de generalizar entre patrones de entrada-salida similares. La red da resultados casi perfectos para ejemplos del conjunto de entrenamiento, pero falla en los
SINAPSIS ENTRE NEURONAS
MULTIPURPOSEMGZ | 9
PUBLICIDAD
10 | MULTIPURPOSEMGZ
WWW.ARTEINT.COM/
MULTIPURPOSEMGZ | 11
TECNOLOGIA
MAIN NOTE MAYBE HERE
12 | MULTIPURPOSEMGZ
Hace diez años Casio desarrolló una fuente de luz de bajo consumo, larga duración, encendido inmediato y reducida temperatura para sus proyectores de vídeo. Más importante aún, el sistema híbrido láser y led desarrollado por Casio emplea una fuente luminosa limpia y no contaminante, que prescinde de las lámparas de vapor de mercurio. Había nacido la familia ecoproyectores de Casio. El mercurio es uno de los elementos químicos que más riesgo directo supone para la salud pública, especialmente cuando es inhalado como gas. Tanto es así que en 2013 las Naciones Unidas promovieron el Convenio de Minamata sobre el Mercurio. El principal objetivo de este convenio es proteger la salud humana y el medio ambiente de las emisiones y vertidos de mercurio. El convenio propone el año 2020 como la fecha de caducidad para los productos que hagan uso del mercurio, y entre esos productos están las lámparas que hoy se encuentran en numerosos proyectores. Para que la imagen sea visible los proyectores necesitan una fuente de luz muy luminosa, requisito que cumplen las lámparas de vapor de mercurio: al hacer pasar una corriente eléctrica el gas de mercurio que hay en el interior de la bombilla se calienta y produce una luz de gran intensidad. Debido a las características lumínicas de estas lámparas no existe una alternativa similar que esté libre de mercurio, pero estas bombillas tienen los días contados. La solución está en un cambio completo de la tecnología aplicada a la iluminación de los proyectores. La luz led es la mejor alternativa a las lámparas de mercurio. Los ledes no hacen uso de ningún tipo de gas ni elemento tóxico, y son más eficientes: el consumo eléctrico es menor y la vida útil es mayor que la de cualquier otra fuente de luz. Los ecoproyectores de Casio van más allá de las ventajas de la iluminación led e incorporan tecnologías de iluminación láser, resultando en un sistema híbrido que reduce en un 40 por ciento el consumo. Los ledes son de encendido inmediato, por lo cual con un ecoproyector no hay que esperar a que la bombilla se caliente para utilizarlo. Un ecoproyector funciona hasta 20.000 horas. Esto equivale a 15 años (dependiendo del uso diario que se haga de él) sin tener que cambiar la lámpara y sin mantenimiento; terminan con el aspecto más engorroso de un proyector, eliminando el coste económico y medioambiental que supone cambiar la bombilla del proyector de vídeo. Desde hace diez años los ecoproyetores de Casio cumplen el Convenio de Minamata, eliminado el mercurio del entorno y del medio ambiente.
MULTIPURPOSEMGZ | 13
La red neuronal de Google que puede saber dónde se tomó una foto sólo con mirarla, sin los datos GPS En MIT Technology Review, Google Unveils Neural Network with “Superhuman” Ability to Determine the Location of Almost Any Image, Tobias Weyand, especialista en visión artificial en Google y un par de sus colegas han desarrollado un software capaz de determinar dónde fue tomada una foto utilizando sólo los píxeles que contiene, sin necesitar los datos GPS de la fotografía (...) su máquina ya supera a los humanos en esa tarea, e incluso llega a determinar la ubicación de fotografías de interiores y de objetos como mascotas o alimentos, imágenes sin pistas sobre la localización. La tarea de reconocer dónde se hizo una foto puede ser muy fácil si en la foto aparece, por ejemplo, un momento o accidente geográfico reconocible –la Torre Eiffel, el Monte Rushmore,— o muy complicado e incluso (de entrada) imposible cuando se trata de una foto de un plato de lentejas. Los humanos podemos jugar a adivinar el dónde ayudándonos por pistas como el aspecto o idioma de las señales o indicaciones, el tipo de arquitectura o de vestimenta, el lado por el que circulan los coches,... Incluso gente que haya viajado mucho puede reconocer lugares por el ambiente o el entorno. O porque ha estado allí. Para entrenar a su hurón ordenador Weyand y sus colegas alimentaron su red neuronal, a la que han bautizado como PlaNet, con millones de fotografías. 126 millones de fotografías taggeadas con sus coordenadas GPS situadas en un mapa del mundo dividido por una cuadrícula.La máquina aprende de este modo a qué recuadro de la cuadrícula corresponde cada foto, primero por los datos GPS que acompañan a la foto y después reconociendo los píxeles de la foto — sin “mirar” los datos GPS. Según Weyand y su equipo la máquina es capaz de reconocer otras fotos que se añadan, a distintos niveles: en qué calle se tomaron (3,6% de aciertos) en qué ciudad (10,1% de aciertos) en qué país (28,4%) y en qué continente (48%). Como demostración, PlaNet compitió con un grupo de humanos viajados y ganó. El software fue capaz de reconocer 28 de los 50 lugares presentados en fotografías con un margen de error en la localización de 1132 km. El margen de error de los humanos fue de 2320 km. La explicación es “simple”: por mucho que hayan viajado los humanos rivales, la máquina ha visto más mundo que todos ellos juntos — aunque haya sido sólo en fotos. Yendo un paso más allá, la máquina puede llegar a determinar la localización de una fotografía tomada en interiores o en la que sólo se ve un plato de un comida. El truco de la máquina es que guarda registro de cómo se relacionen las fotos entre sí, de modo que si la foto de un objeto pertenece a un álbum y ambas fotos se tomaron más o menos consecutivas, la máquina puede usar otras fotos para determinar dónde se hicieron y trasladar ese dato a la foto del plato de comida.Y por si todo lo anterior no fuera suficiente, «el software ocupa 380 MB, cabe en un teléfono móvil.
14 | MULTIPURPOSEMGZ
LA RED NEURONAL DE GOOGLE Tobias Weyand, especialista en visión artificial en Google y un par de sus colegas han desarrollado un software capaz de determinar dónde fue tomada una foto utilizando sólo los píxeles que contiene, sin necesitar los datos GPS de la fotografía (...) su máquina ya supera a los humanos en esa tarea, e incluso llega a determinar la ubicación de fotografías de interiores y de objetos como mascotas o alimentos, imágenes sin pistas sobre la localización.
MULTIPURPOSEMGZ | 15
Redes
Neuronales
Realizado por Rafael Pascuale Orrillo Ruggieri CI:17.980.145
16 | MULTIPURPOSEMGZ