∆ευτέρα, 23 Νοεµβρίου 2009. Λήµµα Έστω U, Y τ.µ., τέτοιες ώστε: E [U ] = θ , V (θ ) ≥ 0 , πεπερασµένη και E [U | Y = y ] = W ( y ) , Υ επαρκής σ.σ. για το θ Τότε η W = W ( y ) είναι τέτοια ώστε: E (W ) = θ και V (W ) ≤ V (U ) Απόδειξη: (για συνεχείς τ.µ.) Έστω U, Y τ.µ. και g ( u , y ) η από κοινού σ.π.π. τους. Επίσης g1 ( y ) η περιθώρια της Υ και g 2 ( y ) η περιθώρια της U, h ( u | y ) δεσµευµένη σ.π.π. της U |Y = y W = W ( y ) = E (U | Y = y ) =
∞
∫ uh ( u | y ) du (1)
−∞
∞ E [W ] = E W ( y ) = ∫ w ( y ) g1 ( y ) dy = ∫ ∫ uh ( u | y ) du g1 ( y ) dy = −∞ −∞ −∞ g ( u, y ) uh u | y g y dudy = u ( ) ( ) 1 ∫∫ ∫∫ g1 ( y ) g1 ( y ) dudy = ∫∫ ug ( u, y ) dydu = ∞
∞ u g u , y dy ( ) du = ∫ ∫ −∞ −∞ εκτιµήτρια του θ.
{
V (U ) = E U − E (U )
∞
(1)
∞
∞
∫ ug ( u )du = E [U ] = θ , άρα η W 2
είναι αµερόληπτη
−∞
2
} = E (U − θ ) = E (U − W + W − θ ) = 2
2
2 2 E (U − W ) + (W − θ ) + 2 (U − W )(W − θ ) = 2 2 E (U − W ) + E (W − θ ) + E 2 (U − W )(W − θ ) = 2 E (U − W ) + V (W ) + 2 E (U − W )(W − θ ) ⇒ 2 V (U ) = E (U − W ) + V (W ) + 2 E (U − W )(W − θ ) ( 2 ) όµως E (U − W )(W − θ ) = ∫∫ ( u − W )(W − θ ) g ( u , y ) dudy =
∫∫ ( u − W ( y ) ) (W ( y ) − θ ) h ( u | y ) g ( y ) dudy =
∗
1
∗
Επειδή
g (u | y ) =
h (u | y ) g1 ( y )
⇒ h ( u | y ) = g ( u | y ) g1 ( y ) 1
∞
∞ ∫−∞ (W ( y ) − θ ) −∞∫ ( u − W ( y ) ) h ( u | y ) du g1 ( y ) dy ⇒ ∞ ∞ E (U − W )(W − θ ) = ∫ (W ( y ) − θ ) ∫ ( u − W ( y ) ) h ( u | y ) du g1 ( y ) dy ( 3) . −∞ −∞ ∞
Αλλά
∞
∞
−∞
−∞
∫ ( u − W ( y ) ) h ( u | y ) du = ∫ uh ( u | y ) du − ∫ W ( y ) h ( u | y ) du =
−∞ ∞
∞
−∞
−∞
∫ uh ( u | y ) du − W ( y ) ∫ h ( u | y ) du = E (U | Y = y ) − W ( y ) ⋅1 =
W ( y ) − W ( y ) = 0 , άρα η (3) γίνεται: E (U − W )(W − θ ) = 0 και η (2): 2 V (U ) = E (U − W ) + V (W ) ⇒ V (W ) ≤ V (U ) .
Θεώρηµα Rao – Blackwell Έστω X 1 , X 2 ,..., X v τ.δ. από κάποια κατανοµή µε σ.π. (ή σ.π.π.) f ( x;θ ) . Επίσης: έστω Y = Y ( X 1 , X 2 ,..., X v ) σ.σ. επαρκής για τη θ και U = U ( X 1 , X 2 ,..., X v ) αµερόληπτη εκτιµήτρια της θ. Τότε η W = W ( y ) = E (U | Y = y ) είναι αµερόληπτη εκτιµήτρια της θ: E (W ) = θ και V (W ) ≤ V (U ) Παράδειγµα: X 1 , X 2 ,..., X v τ.δ. από Bernoulli(θ) f ( x;θ ) = θ x (1 − θ ) , x = 0,1 , 0 < θ < 1 Λύση: E ( X i ) = θ και V ( X i ) = θ (1 − θ ) , ∀1 ≤ i ≤ v , εποµένως η X 1 είναι αµερόληπτη 1− x
εκτιµήτρια
(E( X ) =θ ). 1
Έστω W = E ( X 1 | T = t ) . v
Η T = ∑ X i είναι επαρκής σ.σ. για τη θ και, κατά τα γνωστά, T ~ Bin ( v,θ ) , i =1
εποµένως: 1
α)
Για 1 ≤ t ≤ v : E ( X 1 | T = t ) = ∑ x1P ( X 1 = x1 | T = t ) = x1 =0
0 ⋅ P ( X 1 = 0 | T = t ) + 1 ⋅ P ( X 1 = 1| T = t ) = P ( X 1 = 1| T = t ) = * *
µε βάση τη δεσµευµένη πιθανότητα
2
P ( X 1 = 1, T = t ) = P (T = t )
v v P X 1 = 1, ∑ X i = t P X 1 = 1, ∑ X i = t − 1 i =1 i =2 = (1 ) = P (T = t ) P (T = t )
v − 1 t −1 v ( v −1)−( t −1) θ ⋅ θ (1 − θ ) P ( X 1 = 1) P ∑ X i = t − 1 i =2 = (2 ) t −1 = v v t ( v −t ) P ∑ Xi = t t θ (1 − θ ) i =1 ( v − 1)! v −t (1 − θ ) ( v − 1)!t !( v − t )! = t ( t − 1)!( v − 1 − t + 1)! = v! v −t v!( t − 1)!( v − t )! v (1 − θ ) t !( v − t )! v
Xi t ∑ i =1 Άρα E ( X 1 | T = t ) = = = X (1 ≤ t ≤ v ) v v 1
β)
Για t = 0 , E ( X 1 | T = 0 ) = ∑ x1P ( X 1 = x1 | T = 0 ) = x1 =0
v
Xi t T ∑ i =1 0 ⋅ P ( X 1 = 0 | T = 0 ) + 1 ⋅ P ( X 1 = 1| T = 0 ) = 0 + 0 = 0 = = = =X. v v v v
Άρα, σε κάθε περίπτωση, ισχύει: E ( X 1 | T = t ) =
∑X i =1
v
i
= X ,0 ≤ t ≤ v .
v ∑ Xi θ (1 − θ ) 1 v 1 V (W ) = V i =1 = 2 ∑V ( X i ) = 2 vV ( X i ) = ≤ θ (1 − θ ) = V ( X i ) v v v v i =1 Άρα V (W ) ≤ V ( X 1 )
Παρατήρηση: v v −1 Αν λάβουµε αντί T = ∑ X i την T1 = X v , ∑ X i , η οποία είναι επίσης επαρκής i =1 i =1 σ.σ. για το θ, έχουµε:
1
v
v
v
i =1
i=2
i=2
∑ X i = t ⇒ X1 + ∑ X i = t ⇒ ∑ X i = t − X1 = t − 1 .
Ο λόγος που κάνουµε αυτή την αντικα-
τάσταση είναι να «βγάλουµε» το X από το άθροισµα και έτσι να έχουµε δύο ανεξάρτητες σ .σ . v 2 Η P ∑ X i = t − 1 είναι σ.π. διωνυµικής κατανοµής ( v − 1,θ ) . i =2 1
3
1
E ( X 1 | T1 = t1 ) = ∑ x1P ( X 1 | T1 = t1 ) = P ( X 1 = 1| T1 = t1 ) = x1 =0
v −1 v −1 P X 1 = 1, X v = xv , ∑ X i = t0 P X 1 = 1, X v = xv , ∑ X i = t0 − 1 i =1 i =2 = = v −1 v −1 P X v = xv , ∑ X i = t0 P X v = xv , ∑ X i = t0 i =1 i =1 v −1 v −1 P ( X 1 = 1) P ( X v = xv ) P ∑ X i = t0 − 1 P ( X 1 = 1) P ∑ X i = t0 − 1 i =2 = i=2 = v −1 v −1 P ( X v = xv ) P ∑ X i = t0 P ∑ X i = t0 i =1 i=1 v − 2 t0 −1 v − 2 ( v − 2 )−( t0 −1) θ θ (1 − θ ) t − 1 ( v − 2 )!t0 !( v − t0 − 1)! = t0 t0 − 1 = 0 = v − 1 ( t0 − 1)!( v − 2 − t0 + 1)!( v − 1)! v − 1 v − 1 t0 v −1−t0 1 − θ θ ( ) t t 0 0 v −1
Xi ∑ t0 i =1 W1 = E ( X 1 | T1 = t1 ) = = v −1 v −1 v −1 ∑ X i ( v − 1)θ E (W1 ) = E i =1 = =θ v − 1 v − 1 v −1 ∑ Xi θ (1 − θ ) 1 V (W1 ) = V i =1 = v − 1 θ 1 − θ = ⇒ V (W1 ) < W ( X 1 ) ⇒ ( ) ( ) 2 v −1 v − 1 ( v − 1) θ (1 − θ ) θ (1 − θ ) Αλλά, V (W1 ) = > = V (W ) ⇒ V (W ) < V (W1 ) v −1 v
Παράδειγµα - Άσκηση Έστω X 1 , X 2 ,..., X v τ.δ. από κανονική κατανοµή N ( µ ,σ 2 ) , µ ,σ 2 άγνωστα και,
(
)
2 1 v έστω s = X − X αµερόληπτη εκτιµήτρια του σ2. ∑ i v − 1 i =1 Να βρεθεί η τιµή της σταθεράς c , έτσι ώστε η cs 2 να είναι εκτιµήτρια ελαχίστου µέσου τετραγωνικού σφάλµατος. 2
4
Λύση: 2 2 MSE = E ( cs 2 − σ 2 ) = V ( cs 2 − σ 2 ) + E ( cs 2 − σ 2 ) =
V ( cs 2 ) + E ( cs 2 ) − E (σ 2 ) = c 2V ( s 2 ) + cE ( s 2 ) − σ 2 = 2
2
c 2V ( s 2 ) + cσ 2 − σ 2 = c 2V ( s 2 ) + σ 2 ( c − 1) = c 2V ( s 2 ) + σ 4 ( c − 1) * 2
Γνωρίζουµε ότι
( v − 1) σ4
2
2
2
( v − 1) s 2 = 2 ( v − 1) ⇒ v −1 ⇒ V 2 σ
( v − 1) s 2 ~ X 2 σ2
2σ 4 , V s 2 = 2 ( v − 1) ⇒ V s 2 = v −1
2σ 4 2 άρα * MSE = c + σ 4 ( c − 1) v −1 d 2 2σ 4 2σ 4 2 4 Πρέπει ( MSE ) ' = 0 ⇒ + σ ( c − 1) = 2c + σ 4 2 ( c − 1) = 0 ⇒ c dc v − 1 v −1 2
2σ 4 σ4 1 v −1 v −1 4 4 c + cσ − σ = 0 ⇒ c = ⇒ c= = = , 4 2 2σ v −1 2 + v − 1 v + 1 4 +1 +σ v −1 v −1 2 2 v −1 1 v 1 v 2 οπότε: cs = X − X = X − X είναι εκτιµήτρια ελα∑ i ∑ i v + 1 v − 1 i =1 v + 1 i =1 χίστου µέσου τετραγωνικού σφάλµατος.
(
)
(
)
Μικρή Γενίκευση του Θεωρήµατος Rao – Blackwell
Έστω X 1 , X 2 ,..., X v τ.δ. από κάποια κατανοµή µε σ.π. f ( x;θ ) . Αν η U = U ( X 1 , X 2 ,..., X v ) είναι αµερόληπτη εκτιµήτρια της g (θ ) και T = T ( X ) επαρκής σ.σ. του θ, τότε η σ.σ. δ ( x ) = Ψ T ( X ) = E [U | T ] είναι αµερόληπτη εκτιµήτρια της g (θ ) και V δ ( x ) ≤ V U ( X ) .
Θεώρηµα Lehman – Scheffe: Έχουµε τις προϋποθέσεις του Θεωρήµατος Rao – Blackwell και επί πλέον: η σ.σ. Τ είναι επαρκής και πλήρης. Τότε η σ.σ. δ ( x ) = Ψ T ( X ) = E [U | T ] είναι η α.ε.ε.δ. της g (θ ) , δηλαδή Έ-
{
}
{
}
στω Ψ 0 T ( X ) και Ψ1 T ( X ) : E Ψ 0 T ( X ) = E Ψ1 T ( X ) = g (θ ) .
{
}
Άρα E Ψ 0 T ( X ) − Ψ1 T ( X ) = 0, ∀θ .
5
Άρα, λόγω πληρότητος: Ψ 0 T ( X ) − Ψ1 T ( X ) = 0 ⇒ Ψ 0 T ( X ) = Ψ1 T ( X ) , ∀θ . άρα µοναδική. Πρόταση (Πόρισµα): Αν Τ επαρκής και πλήρης σ.σ. για τη θ και Ψ1 (T ) αµερόληπτη εκτιµήτρια του g (θ ) , τότε η Ψ1 (T ) είναι η α.ε.ε.δ. της g (θ ) .
Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από N (θ ,1) . Να βρεθεί η α.ε.ε.δ. του θ. Λύση: v
Κατά τα γνωστά, η T = ∑ X i είναι επαρκής και πλήρης σ.σ. για το θ.
( )
i =1
Επίσης: E X = θ v ∑ Xi T και E X = E i =1 = E = θ , άρα v v η X είναι η α.ε.ε.δ. του θ.
( )
Αντίστοιχα, µπορούµε να αποδείξουµε ότι ο X είναι η α.ε.ε.δ. για τις κατανοµές: ∆ιωνυµική, Benoulli, Poisson,… κ.λ.π.
6