Revista

Optimizaci贸n sin restricciones con mas de una variable y m茅todo de LaGrange

ÍNDICE

CONTENIDO

PAGINA

Optimización................................................................

03

Optimización sin Restricciones....................................

04-12

Método de LaGrange.................................................

13-20

Casos Prácticos........................................................

21-23

INTRODUCCIÓN En esta revista veremos una breve descripción de la teoría y métodos que

se

utilizan

para

enfrentar

problemas

de

optimización

sin

restricción con mas de una variable, se explicara una serie de puntos de dicho tema los cuales son de gran ayuda a la hora de resolver cualquier problema de optimización. también se desarrollara LaGrange conjuntamente con sus terminología básicas, y se presentaran una serie de ejercicios para que el lector obtenga una ayuda a la hora te leer nuestra revista.

Optimización La optimización es una aplicación

Puntos de interés especial: Conceptos Historia Ejercicios Métodos ENTRE

OTROS!!!

directa del cálculo diferencial y sirve para calcular máximos y mínimos de funciones sujetas a determinadas condiciones. La aplicación práctica de los problemas de optimización es bien clara: calcular superficies o volúmenes máximos, costes mínimos, forma óptima de determinadas figuras. Es importante en este tipo de problemas identificar claramente la función a optimizar que suele depender de dos variables. El ejercicio nos dará una condición que liga a ambas y lo que debemos hacer es despejar una de ellas y sustituirla en la función a optimizar, de forma que tengamos una sola variable. A partir de aquí aplicaremos la teoría del cálculo diferencial para identificar máximos o mínimos.

03

Optimización Sin Restricciones con más de una Variable Significa que buscamos un extremo, es decir un máximo o un mínimo. Un extremo puede ser un extremo global (también, se puede decir extremo absoluto) o un extremo local (o relativo). Por ejemplo, la siguiente función (por el momento, no hay restricciones)

• Punto A es el máximo local • Punto B es el mínimo local • No hay máximo no mínimo global. La flecha en el lado derecho indica que la función continua aumenta cuando x aumenta si x es mayor que el nivel asociado con punto B. La flecha en el lado izquierdo indica que la función disminuye cuando x disminuye si x es menor que el nivel asociado con punto A.

La optimización sin restricciones es Importante porque:  Hay problemas que se pueden formular sin Restricciones.  Permiten introducir muchos conceptos y explorar ideas que se usarán en problemas NLP  Muchos problemas de optimización utilizan en alguna fase algoritmos sin restricciones.  Algunos problemas NLP pueden reformularse como problemas sin restricciones

04

Optimización Sin Restricciones con más de una Variable (Máximos y Mínimos ) 





Un punto x∗ es un mínimo global si f(x∗) ≤ f(Sin embargo el mínimo global puede ser difícil de encontrar pues nuestro conocimiento de f es usualmente local.

La mayoría de los algoritmos calculan mínimos locales que son puntos en los que sea alcanza el menor valor de f en su entorno. Formalmente: Un punto x∗ es un mínimo local si existe un entorno N de x∗ tal que f(x∗) ≤ f(x) para todo x ∈ N .

Hay funciones con muchos mínimos locales. Es generalmente difícil encontrar el mínimo global para tales funciones. Un ejemplo con millones de mínimos locales aparece en la determinación de la conformación de una molécula con energía potencial mínima. x) para todo x ∈ IRn.

05

Si la función f es suficientemente regular existen modos eficientes y prácticos de identificar mínimos locales. En particular si f es dos veces diferenciable puede decirse si x∗ es un mínimo local examinando su gradiente ∇f(x∗) y su hessiano ∇2f(x∗)

M É T O D O S D E

D E S C E N S O

Optimización Sin Restricciones con más de una Variable Método del Gradiente y Conjugado Método de Fletcher Reeves

Método del Gradiente

Primer Orden

Métodos de Newton

Segundo Orden

DFP: DavidonFletcherPowell

Powell BFGS Interior Exterior

CuasiNewton

06

P R I M E R

O R D E N

Optimización Sin Restricciones con más de una Variable Esquema iteración del Método Gradiente

Método del Gradiente o de Cauchy Sea f : Rn → R diferenciable. La derivada direccional de f en la dirección d ∈ Rn está dada por: Df(x; d) = ∇f(x) td Para obtener la dirección de máximo descenso de la función f en un punto x ∈ Rn tal que ∇f(x) 6= 0, se debe resolver el problema:

La solución problema es:

de

este

Y por lo tanto la dirección de máximo descenso de la función f es: d = −∇f(x)

El gradiente de una función en un punto indica la dirección, a partir de ese punto, en la que dicha función crece más rápidamente y, además, la dirección ortogonal a las curvas de nivel de f (curvas en las que la función tiene un valor constante)

07

Optimización Sin Restricciones con más de una Variable

P R I M E R O R D E N

Método del Gradiente Conjugado Sea (PC) el problema de optimización cuadrático definido por: min x∈Rn q(x) = 1/2xt Qx − bt x (PC)

donde Q es una matriz definida positiva

Definición: método del gradiente conjugado es un algoritmo para resolver numéricamente los sistema de ecuaciones lineales cuyas matrices son simétricas y definidas positivas.

Es un método iterativo, así que se puede aplicar a los sistemas dispersos que son demasiado grandes para ser tratados por métodos directos como la descomposición de Cholesky tales sistemas surgen frecuentemente cuando se resuelve numéricamente las ecuaciones en derivadas parciales.

Nota: Si el Método de Gradiente Conjugado no termina en

08

Optimización Sin Restricciones con más de una Variable

P R I M E R

Método de Fletcher-Reeves El método de Fletcher-Reeves debiera converger en N iteraciones o menos para el caso de una función cuadrática.

Sin embargo, para cuadráticas mal condicionadas (aquellas cuyos contornos son altamente excéntricos y distorsionados), el método puede requerir mucho más de N iteraciones para converger.

Ejemplo

O R D E N 09

Optimización Sin Restricciones con más de una Variable

S E G U N D O

Método de Newton Kantorovich El método de Newton es un método numérico que se utiliza para encontrar ceros de una función. Sea F : Rn → Rn un campo vectorial de clase ζ1(Rn). Un punto x ∈ Rn será un cero de F si: F(x)=0

O R D E N 10

Optimización Sin Restricciones con más de una Variable

C U A S I N E W T O N

Método de Cuasi-Newton En cada iteración del método de Newton es necesario calcular la inversa de la matriz hessiana de f en xk de manera exacta, lo que es costoso computacionalmente, O(n3) operaciones aritméticas. Por esto razón, se propone un método iterativo de la forma: xk+1 = xk − tk Skgk gk = ∇f(xk

)

donde Sk es una matriz que aproxima a £∇2f(xk) ¤−1 y tk ≥ 0 minimiza f sobre xk − λgk para λ ≥ 0 (paso exacto o aproximado). Se presentarán 2 métodos que permiten construir iterativamente la matriz Sk de manera que se verifiquen las siguientes condiciones:

1) Definida Positiva: Si Sk es definida positiva =⇒ Sk+1 también lo es.

2) Aproximación de la matriz hessiana inversa de f: xk −→ x , Sk −→ £ ∇2f(x) ¤−1 para k −→∞.

RECUERDA QUE La forma de construir estos métodos asegura:

• Convergencia Global • Rapidez de convergencia mayor que lineal • Convergencia a un mínimo local

11

C U A S I

N E W T O N

Optimización Sin Restricciones con más de una Variable Método de Powell BFGS El método de BFGS se deriva de Método del neutonio en la optimización, usa técnicas que busca punto inmóvil de una función, donde gradiente es 0.

El método del neutonio asume que la función se puede localmente aproximar como ecuación cuadrática en la región alrededor del grado óptimo, y utiliza los primeros y segundos derivados para encontrar el punto inmóvil.

Método de DFP: Davidon Fletcher- Powell Ha sido y sigue siendo una técnica de gradiente ampliamente utilizada.

El método tiende a ser robusto; esto es, típicamente tiende a tener un buen comportamiento en una amplia variedad de problemas prácticas. La mayor desventaja de este tipo de métodos es su necesidad de almacenar la matriz A de N × N. Una de las dificultades practicas comunes de estos métodos es la tendencia de A(k+1) a estar mal condicionada, lo que causa una mayor dependencia a un procedimiento de re inicialización.

12

Método de LaGranje Turín, 1736 - París, 1813) Matemático francés de origen italiano. Estudió en su ciudad natal y hasta los diecisiete años no mostró ninguna aptitud especial para las matemáticas. Sin embargo, la lectura de una obra del astrónomo inglés Edmund Halley despertó su interés, y, tras un año de incesante trabajo, era ya un matemático consumado. Nombrado profesor de la Escuela de Artillería, en 1758 fundó una sociedad, con la ayuda de sus alumnos, que fue incorporada a la Academia de Turín.

En su obra Miscellanea taurinensia, escrita por aquellos años, obtuvo, entre otros resultados, una ecuación diferencial general del movimiento y su adaptación para el caso particular del movimiento rectilíneo, y la solución a muchos problemas de dinámica mediante el cálculo de variantes. Escribió asimismo numerosos artículos sobre el cálculo integral y las ecuaciones diferenciales generales del movimiento de tres cuerpos sometidos a fuerzas de atracción mutuas.

13

A principios de 1760 era ya uno de los matemáticos más respetados de Europa, a pesar del flagelo de una salud extremadamente débil. Su siguiente trabajo sobre el equilibrio lunar, donde razonaba la causa de que la Luna siempre mostrara la misma cara, le supuso la concesión, en 1764, de un premio por la Academia de Ciencias de París.

Hasta que se trasladó a la capital francesa en 1787, escribió gran variedad de tratados sobre astronomía, resolución de ecuaciones, cálculo de determinantes de segundo y tercer orden, ecuaciones diferenciales y mecánica analítica.

Método de LaGranje En los problemas de optimización, el método de los multiplicadores de LaGrange, llamados así en honor a Joseph Louis LaGrange, es un procedimiento para encontrar los máximos y mínimos de funciones de múltiples variables sujetas a restricciones. Este método reduce el problema restringido con n variables a uno sin restricciones de n + k variables, donde k es igual al número de restricciones, y cuyas ecuaciones pueden ser resueltas más fácilmente. Estas nuevas variables escalares desconocidas, una para cada restricción, son llamadas multiplicadores de LaGrange.

El método dice que los puntos donde la función tiene un extremo condicionado con k restricciones, están entre los puntos estacionarios de una nueva función sin restricciones construida como una combinación lineal de la función y las funciones implicadas en las restricciones, cuyos coeficientes son los multiplicadores.

14

Sabias que…

Método de LaGranje Una teoría clave en la economía neoclásica, la base de la mayoría del pensamiento económico tradicional, es que los consumidores y negocios son actores racionales que se esfuerzan por maximizar su utilidad. En el lado del consumidor, esto significa obtener el nivel más alto de satisfacción por los bienes y servicios consumidos.

Para los negocios, la utilidad máxima significa maximizar el beneficio. Los economistas reconocen que las personas y empresas tienen necesidades ilimitadas, pero sólo existen recursos finitos para satisfacer esas necesidades. Los consumidores tienen ingresos limitados para comprar los bienes y servicios que deseen y las empresas tiene sólo tierra, trabajo y capital limitado para crear sus productos. Estos recursos limitados, entonces, presentan restricciones. El reto es la forma de lograr la satisfacción o beneficio máximo en base a sus restricciones dadas. Otro reto para las empresas es el de minimizar los costos de producción mientras alcanzan los niveles esperados de producción. El método lagrangiano proporciona una forma de resolver cuantitativamente estos problemas, a los que algunos economistas se refieren como problemas de optimización con restricciones.

15

Método de LaGranje Objetivos  Visualizar algunas superficies cuádricas y curvas de nivel para distintos valores de la variable z.  Identificar, a través de los simuladores, los puntos (x,y) sobre la curva correspondiente a la función restricción donde la función principal tiene extremos.  Interpretar gráficamente los resultados obtenidos empleando el método de multiplicadores de LaGrange. Aproximar las soluciones del problema a partir de la observación en el simulador, de las curvas de nivel de la función principal y la curva correspondiente a la función condicionante. Adquirir habilidad en la resolución de problemas de optimización en un ambiente computacional.

Características El método de eliminación de variables no resulta operativo cuando el problema tiene muchas restricciones o las restricciones son complejas, por lo que resulta muy útil éste método. Los Multiplicadores de LaGrange es un método alternativo que además proporciona más información sobre el problema. Todos los óptimos que verifiquen las condiciones de regularidad establecidas tienen asociados los correspondientes multiplicadores.  El teorema de LaGrange establece una condición necesaria de optimalidad (bajo las condiciones de regularidad).

16

Método de LaGranje Campos de Aplicación

La optimización reprimida desempeña un papel central en la economía. Por ejemplo, el problema selecto para un consumidor se representa como uno de maximizar una función de utilidad sujeta a una coacción de presupuesto . El multiplicador LaGrange tiene una interpretación económica como el precio de la oposición asociado con la coacción, en este ejemplo la utilidad marginal de ingresos .

Otros ejemplos incluyen la maximización de la ganancia para una firma, junto con varias aplicaciones macro-económicas

En la teoría de control óptimo , los multiplicadores de LaGrange se interpretan como constates variables, y los multiplicadores de LaGrange se formulan de nuevo como la minimización del hamiltoniano , en el principio mínimo de Pontryagin.

17

T E O R E M A S T E O R I A

Método de LaGranje Consideremos inicialmente una relación de equivalencia sobre el grupo G, definida como:

Dado que sabemos por hipótesis que G es finito, sabemos que únicamente puede existir un número finito de clases de equivalencia distintas, es decir, el orden de G:H es finito. Se puede demostrar que:

Es la clase de equivalencia para la relación .

Supongamos entonces que las clases de equivalencia distintas son: . Dado que son distintas y son todas las posibles, G es unión disjunta de estas clases:

De G R U P O S

18

D E M O S T R A C I Ó N

T E O R E M A S T E O R I A De

Método de LaGranje Una consecuencia inmediata del teorema de LaGrange es que todo grupo de orden primo es cíclico, pues el orden de un elemento de debe dividir , y si dicho elemento es distinto de la identidad de G, entonces resulta que el orden de sólo puede ser , de modo que es un generador de G.

Donde HK= { hk|h € H y k € K} (Este conjunto no puede ser un subgrupo de G) A partir del teorema de Lagrange puede, por ejemplo, demostrarse que si son subgrupos finitos de un grupo , entonces:

El teorema de Lagrange proporciona una forma interesante de demostrar que el orden del grupo simétrico de las permutaciones de símbolos es Además, si es el subgrupo alternante de Sn , entonces

G R U P O S

19

C O N S E C U E N C I A S

T E O R E M A S T E O R I A

Método de LaGranje Teoremas (Teoría de Grupos)

El teorema de LaGrange es en realidad un caso especial del hecho siguiente: Si H y K son dos subgrupos de un grupo G, siendo K a su vez un subgrupo de H, entonces:

En este caso G y los subgrupos H, K pueden se infinitos. Así el teorema de Lagrange se convierte en un caso particular de este hecho, pues (1) resulta de tomar K como subgrupo trivial de G en la en la ecuación.

De G R U P O S

20

G E N E R A L I Z A C I Ó N

C A S O S P R Á C T I C O S

21

Ejercicio N° 01 Prueba que la función f definida por F(x,y) = 3𝑥 2 𝑦 4 − 126 + 2𝑥 5 𝜕𝑓 𝜕𝑥

+𝑦

𝜕𝑓 𝜕𝑥

= 6𝑥𝑦 4 − 72𝑥 5 + 2𝑦 5

x

Demostración:

x

𝜕𝑓 𝜕𝑦

= 6𝑓(𝑥, 𝑦)

𝜕𝑓 = 12𝑥 2 𝑦 3 + 10𝑥𝑦 4 𝜕𝑦

𝜕𝑓 𝜕𝑥

+y

𝜕𝑓 𝜕𝑦

= 𝑥(6𝑥𝑦 4 − 72𝑥 5 +2𝑦 5 ) + 𝑦 (12𝑥 2 𝑦 3 + 10𝑥𝑦 4 )

𝜕𝑓 𝜕𝑥

+y

𝜕𝑓 𝜕𝑦

= 6𝑥 2 𝑦 4 − 72𝑥 6 + 2𝑥𝑦 5 + 12𝑥 2 𝑦 4 + 10𝑥𝑦 5

x

x

𝜕𝑓 𝜕𝑥

x

𝜕𝑓 𝜕𝑥

x

+y

𝜕𝑓 𝜕𝑦

+y

𝜕𝑓 𝜕𝑦

= 18𝑥 2 𝑦 4 − 72𝑥 6 + 12𝑥𝑦 5 = 6(3𝑥 2 𝑦 4 − 12𝑥 6 + 2𝑥𝑦 5 ) 𝜕𝑓 𝜕𝑥

x

+y

𝜕𝑓 𝜕𝑦

22

= 6𝑓(𝑥, 𝑦)

Ejercicio N° 02 Dada la funciĂłn z definida por z= đ?‘Ľ 3 − 3đ?‘Ś 2 + 5đ?‘Ľđ?‘Ś + đ?‘Ľ − 2đ?‘Ś + 5

đ?œ•đ?‘§ đ?œ•đ?‘§ đ?‘Ś đ?œ•đ?‘Ľ đ?œ•đ?‘Ś

DemostraciĂłn:

đ?œ•đ?‘§ = 3đ?‘Ľ 2 + 5đ?‘Ś + 1 đ?œ•đ?‘Ľ đ?œ•đ?‘“ = −6đ?‘Ś + 5đ?‘Ľ − 2 đ?œ•đ?‘Ś

Elaborada Por: Damas, Anyelina RamĂ­rez, Diego Caicedo, Waleska

23