METODO DEL GRADIENTE Es un método para resolver sistemas de ecuaciones lineales donde A es una matriz de tamaño n x n simétrica y definida positiva, por otro lado el problema es equivalente al problema de minimizar:
Pues el problema anterior se reduce ha encontrar el punto x donde el gradiente de se anule, ya que se trata de un problema convexo. De esta observación, se deduce que los problemas tienen la misma solución
APLICACIONES 1.– El calculo de una dirección de descenso que esta dado por el negativo del gradiente de la función objetivo evaluado en el punto de partida o en el de K-esima iteración. 2.– Obtener la magnitud del paso a (Alfa) que determina cuanto se avanza en una determinación dirección de descenso. Esto se logra generando una función unidimensional en termino de parámetro (respecto a la función objetivo original).
PROPIEDADES En el método de gradiente, cada nueva dirección de búsqueda se elige como una combinación lineal del residuo negativo y la dirección previa es decir: donde el escalar esta determinada por la condición de que deben ser conjugadas con respecto a A. Premultiplicando por e imponiendo la relación se encuentra de manera explicita a
Despejando
Se elige la primera dirección de búsqueda como la dirección de descenso mas rápida en el punto es decir, Al igual que el método de direcciones conjugadas, se procede a realizar minimizaciones a lo largo de las direcciones de búsqueda. Por lo tanto, debemos escribir un algoritmo completo.
EJEMPLO Derivada direccional de la función F. Sean x y p dos vectores fijos. Definimos mediante la regla: entonces Demostración. Usar la formula para la derivada direccional
Calcular la función g:
Luego sacar la derivada de g:
METODO JACOBIANO Es el método iteractivo para resolver sistemas de ecuaciones lineales mas simple y se aplica solo a sistemas cuadrados, es decir, a sistemas con tantas incognitas como ecuaciones 1.– se determina la ecuación de recurrencia. Para ello se ordenan las ecuaciones y las incógnitas. De la ecuación I se despeja la incógnita I. en notación matricial se escribe como: x = c + Bx , donde x es el vector de incógnitas. 2.– Se toma una aproximación para las soluciones y a esta se le designa por Xo 3.– Se itera en el ciclo que cambia la aproximación Xi+1 = c + Bxi El método de Jacobi se basa en escribir el sistema de educaciones en la forma:
EJEMPLO Ilustrando el método jacobi con un sistema de ecuaciones 3x3, si es vector:
Es el vector aproximación a la solución x depende de k iteraciones, entonces se tiene que para la siguiente aproximación:
Para un sistema de n ecuaciones con un n incognitas se tiene la siguiente formula (usando la notación mas compacta).
Tanto en el método de Gauss-Seidel como en el de Jacobi, el valor que se le de al vector inicial carede de importancia, ya que el método convergirá a la solución rápidamente no obstante que el vector inicial tenga valores muy lejanos a la solución. Es por eso que se acostumbra a dar el vector 0 como vector inicial
METODO Y CONDICIONES DE KUHN TUCKER Son condiciones necesarias y suficientes para que la solución de un problema de programación no lineal sea optima. Es una generalización del método de los multiplicadores de Lagrange.
Las condiciones necesarias para problemas con restricciones de desigualdad fueron publicadas por primera vez en la tesis de master de W. Karush, aunque luego fueron renombradas tras un articulo en una conferencia Las condiciones de K-T son: 1.(Los
reciben el nombre de multiplicadores de K-T)
2.-
3.-
(Si se trata de máximo) ( Si se trata de mínimo)
4.Geométricamente, indican que en un punto de posible máximo, el gradiente de la función objetivo es combinación lineal positivo de los gradientes de las restricciones saturadas en Xo. De igual forma, indican que en un punto de posible mínimo, el gradiente de la función objetiva es combinación lineal negativa de los gradientes de las restricciones que se saturan en Xo.
EJEMPLO Maximizar la función de beneficio sujeto a una restricción de producción:
Paso 1.– Formamos la función de Lagragiana
Paso 2.– Por las condiciones de Kuhn tucker
Paso 3.– Se testean o revisan las condiciones de Kuhn-tucker
En forma de matriz, Usando la regla de cramer donde:
Se obtiene que : Lo cual no puede ser optimo ya que nes de kuhn-tucker B ) Si
y contradice las condicio-
entonces
Esto da la solución correcta lo cual es optimo ya que no viola ninguna condición de kuhn-tucker
METODO DE LOS MULTIPLICADORES DE LAGRANGE Es un procedimiento para encontrar los máximos y los minimos de funciones de varias variables sujetas a restricciones. Este método reduce el problema restringido con n variables a uno sin restricciones de n + k variables, donde k es igual al numero de restricciones, y cuyas ecuaciones pueden ser resueltas mas fácilmente. Estas nuevas variables escalares desconocidas, una para cada restricción, son llamadas multiplicaciones de lagrange. El método diche que los puntos donde la función tiene un extremo condicionadl con k restricciones, están entre los puntos estacionados de una nueva función sin restricciones.
Sea F(x) una función definida en un conjunto abierto n-dimensional (x € Rn) se definen s restricciones y se observa (si las restricciones son satisfechas) que: Se procede a buscar un extremo para h Lo que es equivalente a Los multiplicadores desconocidos Ak se determinan a partir de las ecuaciones con las restricciones y conjuntamente se obtiene un extremo para h que al mismo tiempo satisface las restricciones lo que implica que f ha sido optimizada.
El método de multiplicadores de lagrange es generalizado por las condiciones de Karush-Kuhn-Tucker
EJEMPLO Supongamos que queremos encontrar la distribución probabilística discreta con máxima entropía, entonces:
Podemos usar los multiplicadores de lagrange para encontrar el punto de máxima entropía (dependiendo de las probabilidades). Para todo k desde la1 hasta la n, necesitamos:
Lo que nos da
Derivando estas n ecuaciones, obtenemos:
Esto muestra que todo Pt es igual (debido a que depende solamente de λ). Usando la restricción entonces:
Esta (la distribución uniforme discreta) es la distribución con la mayor entropía.
METODO DE EXTENSION DE LOS MULTIPLICADORES DE LAGRANGE Lo primero de todo es notar que por ser f continua y RF compacto (intersección de compactos), f alcanza su máximo y RF (y su mínimo). Supongamos que f tiene un máximo en el punto Xo y supongamos por ahora que Si nos desplazamos por los conjuntos de nivel de la f en la dirección de mayor crecimiento de la función, esto es en la dirección de para el punto Xo f alcanza el máximo, supongamos el valor Ko, por tanto tendremos el conjunto de nivel N (f, Ko).
Por otro lado, por estar Xo en la región factible, este conjunto de nivel intersecta con a cada N (g, 0) en el punto Xo Se puede demostrar que en Xo, los conjunto de nivel N (f, Ko) y N (g, 0) se cortan de manera tangente, es decir y g son paralelos Ɐ i , por tanto se tiene que: Por tanto el máximo de f restringida a gi = 0 es el máximo de la función: A los números λ i se les llama multiplicadores de lagrange Recordando la condicion del gradiente, una condicion necesaria para Xo sea un punto critido de L es que se cumpla que con Obsérvese que decir
es una función vectorial con n+m coordenadas, es
Asi nuestro problema de programación no lineal se ha reducido a resolver un sistema no lineal de ´n+m ecuaciones para las incógnitas Donde Lo cual es un problema, en principio, nada trivial de resolver cuyas ecuaciones son: Con
Obsérvese también que los puntos donde se verifica el sistema de ecuaciones pueden corresponder a máximos, mínimos o puntos de silla, de modo que la solución, en principio, tampoco esta garantizada por este método, tales soluciones van a requerir un análisis un poco mayor, entre ellos el calculo del Hessiano o bien se puede recurrir a un análisis de la vecindad del punto en cuestión para analizar la solución Hay varios métodos para el calculo de máximo de L uno de ellos es aplicar el método del gradiente a la función L esto es, calcularemos numéricamente e iremos avanzando en la dirección en la que tiende a hacerse cero, encontrado este punto, el método de Hessiano u otro tipo de análisis nos dira si el punto critico es un máximo, un mínimo o un punto de silla.
METODO DE APROXIMACIONES LINEALES Es una aproximación de cualquier función derivable a otra función que se supone mas sencilla que la anterior. Esta aproximación se generaliza con el desarrollo de taylor.
Esto es cierto para valores de a cercanos a x
Se utiliza para cálculos aproximados de algunas raíces, algoritmos, etc.
EJEMPLO Calcula aproximadamente el valor de Le damos un valor cercado a
El valor obtenido con una calculadora es: 1,105170918, de donde podemos ver que 1,105170918 = 1.1
METODO DE GRIFFITH STEWART El método de programación lineal secuencia, pese a su gran potencialidad presenta algunos efectos indeseables (principalmente oscilaciones si la solución del problema no se encuentra condicionada por un numero suficientemente alto de restricciones). Para paliar estos efectos y acelerar la convergencia se realizan numerosas mejoras en este algoritmo. Kelley desarrollo el método del plano secante, en el cual retienen en iteracciones sucesivas las restricciones linealizadas precedentes. Moses y otros autores emplean el método de limites móviles, consistente en imponer restricciones adicionales de timpo lineal, desarrollado por Griffith y Stewart
EJEMPLO Pseudocódigo método Griffith y Stewart Variables
For j = 1 Considere la siguiente función
Sujeto a las siguientes restricciones
TECNICA DE VARIABLES SEPARABLES El método de variables separadas se refiere a un procedimiento para encontrar una solución completa y particular para ciertos problemas que involucrean ecuaciones en derivadas parciales como series cuyos términos son el producto de funciones que tienen las “variables separadas”.
EJEMPLO Considere la ecuación diferencial. Encuentre la solución general
Solución. La ecuación se escribe de la forma
Separamos variables obteniendo
E integrando
Por lo tanto
O lo que es lo mismo
Asi
Y luego la soluciรณn es
CONCLUSION En esta revista fueron presentados seis métodos de optimización con restricciones, pudiéndose observar la importancia de estos dentro de la ingeniería de sistemas para la optimización de funciones, con el uso de derivadas simples para su aplicación, igualmente hemos de mencionar que también existen métodos de optimización sin restricciones, ellos son muy utilizados dentro de la investigación de operaciones, que es a su vez aplicada en distintos campos de nuestra sociedad como la ingeniería.