Extensiones Econométricas Dirigida I, Modelos de Regresión Múltiple Universidad San Martín de Porres
1. Supongamos que regresamos
en . Queremos minimizar la suma de los cua-
drados de los residuos (RSS), pero los mismos ahora son la distancia horizontal. Esto da otro RSS que corresponderá al RSS de la regresión de solo se puede calcular un que
=
para el conjunto de datos. Sea
y
en , pero , mostrar
.
En el modelo bivariado =
+
+
=
+
(1.1)
podemos encontrar que =
∑ ∑(
∑ − =1− ∑( − ) − )
(1.2)
Adicionalmente =
∑(
Donde
− )( − ̅ ) = ∑ ( − ̅) , denota a la covarianza,
(1.3) denota la varianza de . Recordemos
además que, el coeficiente de correlación es =
(1.4)
De (1.4) podemos apreciar que, si intercambiamos correlación sigue siendo el mismo, esto es
=
orden que tomemos para las variables, puesto que
por
el coeficiente de
, independientemente del =
.
A partir de (1.1) se deduce que
1
PD I, Extensiones Econométricas. USMP =
+
⟹
=
+
(1.5) ̅
Por lo que se tiene −
(
=
− ̅)
(1.6)
Introduciendo (1.6) en (1.2) nos queda lo siguiente =
∑ ∑(
∑ ( − ̅) − = = ∑( − ) − )
(1.7)
Remplazando ahora (1.3) en (1.7) nos queda =
(
(1.8)
=
)
Teniendo en cuenta (1.4) conseguimos que =
=
=
(1.9)
=
Sin embargo, como fue comentado anteriormente,
=
, por lo que en
(1.9) podemos intercambiar uno de ellos quedando finalmente =
QED.
como pedía el problema. Cabe señalar que, este resultado sólo es válido cuando se tiene el modelo bivariado de la forma (1.1). 2. Considere el modelo puesto de que
=
+ . Sea el estimador de . Solo relajamos el su-
es una matriz de constantes, ahora los regresores son varia-
bles aleatorias, pero no están correlacionadas con el término de error. a. Encuentre la esperanza incondicional de
¿es
insesgado?
2
PD I, Extensiones Econométricas. USMP Debemos tener en cuenta que la esperanza incondicional la podemos estimar del siguiente modo1 E[ ] = E [E[ | ]]
(2.1)
Teniendo (2.1) en consideración, recordemos que a partir del modelo
=
+ se tiene =
+(
)
(2.2)
aplicando esperanza condicional tenemos E[ | ] = E[ + (
)
| ]=
+(
)
E[ | ] =
(2.3)
aplicando ahora (2.1) conseguimos E[ ] = E [E[ | ]] = E [ ] = por lo que el estimador
(2.4)
es insesgado.
b. Encuentre la varianza incondicional de y mostrar que
=
[(
)
]
La varianza incondicional, la podemos calcular de la siguiente manera2 Var[ ] = Var [E[ | ]] + E [Var[ | ]]
(2.5)
A partir de (2.3) y remplazando en (2.5) tenemos Var [E[ | ]] = Var [ ] = 0
(2.6)
Ahora Var[ | ] = Var[ + ( Var[ | ] = (
)
)
| ]
Var[ | ] (
y recordando el supuesto Var[ | ] = Var[ | ] = 1 2
(
)
)
(2.7) , se tiene que (2.8)
Greene (1999), Capítulo IV. Greene (1999) óp. cit.
3
PD I, Extensiones Econométricas. USMP remplazando (2.8) en (2.5) tenemos la varianza incondicional Var[ ] = 0 + E [
(
)
]=
E[(
)
QED.
]
como pedía demostrar el problema. 3. Considere el siguiente modelo de regresión múltiple Modelo I: donde con
=
+
+
(3.1)
es una matriz de orden +
=
×
y
es una matriz de orden
×
,
y el vector es conformablemente particionado. Ahora, te dan
otro modelo como Modelo II: donde
= = −
+ (
(3.2)
)
. Mostrar que el estimador de mínimos cuadra-
dos para el Modelo I es idéntico al Modelo II. Con la modificación propuesta el (3.1), el estimador de mínimos cuadrados adopta la siguiente forma (
)
=
=
(3.3)
Desarrollando (3.3) tenemos +
=
(3.4)
+
=
(3.5)
despejando =(
de (3.5) se tiene )
−
(3.6)
remplazando (3.6) en (3.4) se tiene +
(
)
−
(
)
−
= =
−
(
) 4
PD I, Extensiones Econométricas. USMP ( −
(
)
)
=
( −
(
)
)
= Finalmente, despejando =(
tenemos (3.7)
)
Ahora, del modelo (3.2) la aplicación es directa, haremos un cambio de variable para que se vea un poco más claro Γ=
+
donde
=
=(
(3.8) yΓ=
)
. En (3.8), el estimador de mínimo cuadrados es
Γ
que remplazando las definiciones de =( pero
y Γ, se tiene
) es una matriz simétrica e idempotente, esto es
=
y
=
,
por lo que =(
(3.9)
)
siendo (3.9) idéntico a (3.7), quedando demostrado el pedido del ejercicio. 4. Para el modelo de regresión normal estándar =
+ , ~ ( 0,
)
a. Escriba la función de máxima verosimilitud. Hallar el MLE de
(4.1) y
.
Escribiendo el modelo (4.1) para cada observación =
+
(4.2)
reordenando y elevando al cuadrado, se tiene
5
PD I, Extensiones Econométricas. USMP =
(4.3)
−
sumando para el conjunto de observaciones =
−
(4.4)
en términos vectoriales, la suma de cuadrados puede expresarse de la siguiente manera =
−
=
(4.5)
Ahora consideremos la función de verosimilitud para este elemento (4.3) =
1
exp −
√2
(4.6)
2
entonces, la función de verosimilitud (global) es 1
=
√2
exp −
= (2
2
)
exp −
1 2
(4.7)
Siendo el problema, el siguiente max ( 2 ,
)
exp −
1 2
(4.8)
Para simplificar el problema (4.8), se aplica logaritmos, encontrándose lo siguiente ln
= − ln 2 − ln 2 2
−
1 2
Y recordando (4.4) se tiene ln
= − ln 2 − ln 2 2
−
1 2
(4.9)
siendo las condiciones de primer orden 6
PD I, Extensiones Econométricas. USMP ln
ln
= −2
=−
2
+2
+
2(
=0⟺
)
=0⟺
=(
)
(4.10)
(4.11)
=
Por (4.10) podemos apreciar que, el estimador
=
, esto es, son idén-
ticos. Por otro lado, el estimador de la varianza
es distinto al del estima-
dor de la varianza del MCO. En efecto, esta última es =
(4.12)
−
Por esta razón, en general, los estimadores MLE son sesgados en pequeñas muestras, pero son consistentes, es decir, el sesgo disminuye conforme
→
+∞. Referencias imprescindibles para este tema son Greene (1999) y Novales (1994). b. Encuentre la distribución asintótica de MLE. Para encontrar la distribución asintótica del MLE, debemos emplear la versión del Teorema Central del Límite de Lindberg-Feller3, que enunciaremos sin demostración. Teorema (Teorema Central del Límite de Lindberg-Levy). Sea
,
, …,
una sucesión de vectores aleatorios independientes e idénticamente distribuidos, tal que E[ ] = y Var[ ] = . Entonces, la sucesión de medias muestrales ̅ , ̅ , …, ̅ converge en distribución a una distribución normal multivariante con media ̅ →
3
( , )
y matriz de covarianza límite , esto es (4.13)
Greene (1999), Capítulo VI.
7
PD I, Extensiones Econométricas. USMP Teorema (Teorema Central del Límite de Lindberg-Feller). Sea
,
, …,
una sucesión de vectores aleatorios independientes e idénticamente distribuidos, tal que E[ ] = y Var[ ] = . Con el supuesto adicional lim
1
(4.14)
=
→
donde
es una matriz finita y definida positiva. Entonces, la sucesión de me-
dias muestrales ̅ , ̅ , …, ̅ converge en distribución a una distribución normal multivariante con media
y matriz de covarianza límite , esto es (4.15)
( , )
̅ →
Recordemos que (4.10) puede ser reducida a la siguiente expresión +(
=
(4.16)
)
simplemente remplazando
=
+
en
. Si
pasa a restar al lado iz-
quierdo, multiplicando ambos miembros de la ecuación por √ y reordenando convenientemente, la expresión (4.16) queda de la siguiente manera −
√
=
Expresando
(4.17)
√ =∑
como
y definiendo
=
, puede compro-
barse que
satisface los supuestos del teorema Lindberg-Feller. En efecto, son i.i.d. ya que lo son, además E[ ] = E[ ] = 0. Asimismo, se tiene que Var[
] = Var[
]=
mos que ∑ Var[ lim →
1
Var[
Var[ ]
=
] es finita cuando
] = lim →
1
=
. Finalmente, tene-
→ ∞. En efecto, se tiene que =
lim
1
→
por lo que
8
PD I, Extensiones Econométricas. USMP
lim
1
(4.18)
=
→
dado el supuesto lim
1
1
= lim
→
(4.19)
=
→
Puesto que se satisfacen los supuestos del teorema Lindberg-Feller, se puede aplicar para conseguir lo siguiente
√
1
− E[
] →
0, lim →
1
Var[
]
(4.20)
quedando √
1
( 0,
→
)
(4.21)
teniendo finalmente lo siguiente √
1
( 0,
→
(4.22)
)
Ahora, debe determinarse la distribución asintótica de √
1
(4.23)
Para lo cual, debe utilizarse una propiedad que enunciaremos de la siguiente manera. Sea una sucesión de variables aleatorias i.i.d. → ~(0, Σ) y sea
→
, siendo
converge a una matriz de constantes →
~(0,
Σ
)
,
, …,
, si
una sucesión de matrices aleatorias que , entonces (4.24)
Por (4.19) tenemos que 9
PD I, Extensiones Econométricas. USMP
lim
1
(4.25)
=
→
Con (4.25) y (4.22) se tiene que 1
√
( 0,
→
siendo que
= 1
√
→
(4.26)
) , entonces (4.26) se reduce a
( 0,
(4.27)
)
recordando (4.17) obtenemos 1
√
=√
−
→
( 0,
(4.28)
)
por lo que →
,
(4.29)
Para finalizar, obtenemos la distribución asintótica del MLE. →
( ,
(
)
QED.
)
que, como pedía el problema, la distribución asintótica del MLE es una normal multivariada con media
y matriz de covarianzas
(
)
.
Referencias Greene, W. (1999). Análisis Econométrico. Prentice Hall, Madrid. Novales, A. (1994). Econometría (2da Edición). McGraw-Hill.
10