Métodos Numéricos II
Mínimos cuadrados Objetivos • •
Deducir las fórmulas de grado n para el método de mínimos cuadrados. Aplicar las fórmulas de mínimos cuadrados a problemas de ajuste de curvas mediante la elaboración de un programa en lenguaje C.
Introducción El estudio de la teoría de la aproximación comprende dos tipos generales de problemas. Uno se presenta cuando una función se da de manera explícita, pero se desea encontrar un tipo más simple de ella, un polinomio por ejemplo, que sirva para determinar los valores aproximados de una función dada. El otro problema se refiere a la adaptación de las funciones a ciertos datos y a la búsqueda de la función “óptima” en una clase que se pueda emplear para representar los datos.
Teresa Carrillo Ramírez - pág.
1
Métodos Numéricos II
Alternativas para el ajuste Supóngase que se tiene el problema de interpolación y se desean estimar valores de una función en puntos no tabulados en la siguiente tabla: xi
yi
xi
yi
1
1.3
6
8.8
2
3.5
7
10.1
3
4.2
8
12.5
4
5.0
9
13.0
5
7.0
10
15.6
Si se grafican estos valores, se podría suponer que la relación entre x y y es lineal. La razón probable de que ninguna recta se ajuste a estos datos es que tienen errores. Ahora si buscamos una función de aproximación a estos datos no sería lógico pedir que se ajusten a cada uno de los puntos (como en un polinomio de interpolación).
Para encontrar una función que se ajuste de la mejor manera a estos datos se tienen las siguientes opciones: Sea a1xi + a0 el i-ésimo valor de la recta de aproximación y yi el i-ésimo valor dado para y. El problema de determinar la ecuación de la mejor aproximación lineal en el sentido absoluto consiste en encontrar los valores de a0 y a1 que minimicen
E ∞ (a 0 , a1 ) = max[ y i − (a1 xi + a 0 ) ] 1≤ i ≤10
Este problema se conoce como mínimax y no es tan simple su solución. Otra alternativa para encontrar la mejor aproximación lineal implica hallar los valores de a0 y a1 que minimicen 10
E1 (a 0 , a1 ) = ∑ y i − (a1 x i + a 0 ) i =1
Esta cantidad se llama desviación absoluta. Para minimizar una función de dos variables se deben igualar a cero sus derivadas parciales y resolver en forma simultánea las ecuaciones resultantes.
Teresa Carrillo Ramírez - pág.
2
Métodos Numéricos II
En el caso de la desviación absoluta se necesitan hallar a0 y a1 tales que
∂ ∂a 0
10
∑y i =1
i
− ( a1 x i + a 0 ) = 0
y
∂ ∂a1
10
∑y i =1
i
− ( a1 x i + a 0 ) = 0
La dificultad de este procedimiento radica en que el valor absoluto no es derivable en cero, y no necesariamente se pueden obtener las soluciones de este par de ecuaciones. El método de mínimos cuadrados para resolver este problema requiere determinar la mejor línea de aproximación, cuando el error es la suma de los cuadrados de las diferencias entre los valores de y en la línea aproximada y los valores de y dados. Por tanto hay que encontrar las constantes a0 y a1 que reduzcan al mínimo el error de mínimos cuadrados: 10
E 2 ( a 0 , a1 ) = ∑ [ y i − ( a1 x i + a 0 ) ]
2
i =1
Consideraciones El método de mínimos cuadrados es el procedimiento más adecuado para determinar las mejores aproximaciones lineales. Algunas consideraciones que lo favorecen son: •
•
•
El método minimax generalmente le da demasiado valor relativo a un pequeño elemento de datos que contiene un gran error. La desviación absoluta solo promedia el error en varios puntos sin dar suficiente valor relativo a un punto que está muy alejado de la aproximación. El método de mínimos cuadrados concede mayor valor relativo al punto que está alejado del resto de los datos, pero no permite que ese punto domine la aproximación.
Teresa Carrillo Ramírez - pág.
3
Métodos Numéricos II
Fórmulas para mínimos cuadrados El problema de ajustar la mejor recta con mínimos cuadrados a una colección de datos
{(xi , yi )}im=1 implica minimizar el error total m
E ≡ E 2 (a 0 , a1 ) = ∑ [ y i − (a1 x i − a 0 )]
2
i =1
con respecto a los parámetros a0 y a1. Para que haya un mínimo, debemos tener
∂ ∂a 0 ∂ ∂a1
m
m
i =1
i =1
m
m
i =1
i =1
∑ [y i − (a1 xi − a 0 )]2 = 2∑ ( y i − a1 xi − a 0 )(−1) = 0
y
2 ∑ [y i − (a1 xi − a 0 )] = 2∑ ( y i − a1 xi − a 0 )(− xi ) = 0
Estas ecuaciones se simplifican en las ecuaciones normales m
m
a 0 m + a1 ∑ xi = ∑ y i i =1
y
i =1
m
m
m
i =1
i =1
i =1
a 0 ∑ xi + a1 ∑ xi2 = ∑ xi y i
La solución de este sistema de ecuaciones es
a0 =
m
m
m
i =1
i =1
i =1
i =1 2
m ∑ xi2 − ∑ xi i =1 i =1 m
m
a1 =
m
∑ xi2 ∑ y i − ∑ xi yi ∑ xi m
m
m
m∑ x i y i − ∑ x i ∑ y i i =1
i =1
i =1
m ∑ xi2 − ∑ xi i =1 i =1 m
m
2
Teresa Carrillo Ramírez - pág.
4
Métodos Numéricos II
Ejemplo: A partir de la siguiente tabla de datos, obtener la línea de mínimos cuadrados que aproxima estos datos Xi 1 2 3 4 5 6 7 8 9 10 55
Yi 1.3 3.5 4.2 5 7 8.8 10.1 12.5 13 15.6 81
xi2 1 4 9 16 25 36 49 64 81 100 385
xiyi 1.3 7 12.6 20 35 52.8 70.7 100 117 156 572.4
P(xi) 1.178 2.716 4.254 5.792 7.33 8.868 10.406 11.944 13.482 15.02
(yi-P(xi))^2 0.014884 0.614656 0.002916 0.627264 0.1089 0.004624 0.093636 0.309136 0.232324 0.3364 2.34474
Sustituyendo estos valores en las ecuaciones normales:
a0 =
385(81) − 55(572.4) = −0.360 10(385) − (55) 2
a1 =
10(572.4) − 55(81) = 1.538 10(385) − (55) 2
Entonces P(x) = 1.523x – 0.360. En la siguiente tabla se muestran los puntos de la tabla y la línea recta que los ajusta por medio de esta ecuación. 18 16 14 12 10 8 6 4 2 0 1
2
3
4
5
6
7
8
9
10
Teresa Carrillo Ramírez - pág.
5
Métodos Numéricos II
Generalización De modo similar se resuelve el problema de aproximar un conjunto de datos
{(xi , yi )}im=1
con un polinomio algebraico de grado n < m-1
mediante el procedimiento de mínimos cuadrados. Sea el polinomio: n
Pn ( xi ) = a x xin + a x −1 xin −1 + L + a1 xi + a 0 = ∑ a j xij j =0
Para disminuir al mínimo el error de mínimos cuadrados, es necesario seleccionar las constantes a0, a1, …, an de tal manera que las parciales con respecto a cada una de ellas sea cero. Así para cada j: m m n m n n m 2 E 2 = ∑ [ y i − P( xi )] = ∑ y i2 − 2∑ a j ∑ y i x ij + ∑ ∑ a j a k ∑ x ij + k i =1 i =1 j =0 i =1 j =0 k =0 i =1
m n m ∂E = −2∑ y i x ij + 2∑ a k ∑ x ij + k ∂a j i =1 k =0 i =1
Esto nos da n + 1 ecuaciones normales en las n + 1 incógnitas aj. n
m
m
k =0
i =1
i =1
∑ a k ∑ xij + k = ∑ yi xij para cada j = 0, 1, …,n. Conviene escribir las ecuaciones como sigue: m
m
m
m
m
i =1
i =1
i =1
i =1
i =1
m
m
m
m
m
i =1
i =1
i =1
i =1
i =1
m
m
m
m
m
i =1
i =1
i =1
i =1
i =1
a 0 ∑ xi0 + a1 ∑ x i1 + a 2 ∑ xi2 + L + a n ∑ xin = ∑ y i xi0 , a 0 ∑ xi1 + a1 ∑ x i2 + a 2 ∑ xi3 + L + a n ∑ xin +1 = ∑ y i xi1 , M a 0 ∑ xin + a1 ∑ xin +1 + a 2 ∑ x in + 2 + L + a n ∑ xi2 n = ∑ y i x in ,
Estas ecuaciones normales tienen solución única siempre y cuando las xi sean distintas.
Teresa Carrillo Ramírez - pág.
6