∆ευτέρα, 14 ∆εκεµβρίου 2009. Θεώρηµα: Εάν X 1 , X 2 ,…, X v τ.δ. από µονοπαραµετρική κατανοµή µε σ.π. (ή σ.π.π.) f ( x,θ ) , θɵ είναι Ε.Μ.Π. του θ και δ = δ ( x ) µια αποτελεσµατική εκτιµήτρια της παραµέτρου θ, τότε θɵ = δ .
Απόδειξη Αφού η δ = δ ( x ) είναι αποτελεσµατική, από το προηγούµενο θεώρηµα, µποv
ρούµε να γράψουµε:
∂
∑ ∂θ log f ( x ;θ ) = k ( v,θ ) δ ( x ) − θ (1) . i
i =1
v
Συνάρτηση Πιθανοφάνειας: L (θ ) = ∏ f ( xi ;θ ) ⇒ v
l (θ ) = log L (θ ) = log ∏ f ( xi ;θ ) = i =1
i =1 v
∑ log f ( x ;θ ) ⇒ i
i =1
v ∂l (θ ) ∂ v ∂ = log f ( xi ;θ ) = ∑ log f ( xi ;θ ) και για να βρούµε τη θɵ , θέτου∑ ∂θ ∂θ i =1 i =1 ∂θ v ∂l (θ ) ∂ µε: = ∑ log f ( xi ;θ ) = 0 , οπότε από την (1) , ∂θ i =1 ∂θ v ∂ log f ( xi ;θ ) = k ( v,θ ) δ ( x ) − θ = 0 ⇒ k ( v,θ ) δ ( x ) − θ = 0 ∑ i =1 ∂θ και, επειδή k ( v,θ ) > 0 , θα πρέπει να ισχύει: δ ( x ) − θ = 0 ⇒ θ = δ ( x ) , ό.έ.δ. Έλεγχος ακρότατου: ∂ ∂l (θ ) ∂ 2l (θ ) ∂ = = k v , θ δ x − θ = ( ) ( ) 2 ∂θ ∂ ∂ ∂ θ θ θ θ =δ ( x ) θ =δ x θ =δ ( x )
{
}
( )
k ( v,θ ) ' δ ( x ) − θ + k ( v,θ ) δ ( x ) − θ 'θ =δ ( x ) = k ( v,θ ) ' δ ( x ) − θ + k ( v,θ )( −1) θ =δ ( x ) = k ( v,θ ) ' δ ( x ) − δ ( x ) − k ( v,θ ) = −k v,θɵ < 0 , άρα το ακρότατο είναι µέγιστο και συνεπώς: θɵ = δ ( x )
( )
Προβλήµατα στην εύρεση Ε.Μ.Π. Έστω L (θ ) της µορφής (πιο περίεργη, όσο αυξάνει η διάσταση του θ) ∆εν χρησιµοποιείται πάντοτε η µέθοδος της παραγωγίσεως. Υπάρχει περίπτωση, µε τη µέθοδο της παραγωγίσεως, να πάρουµε είτε τοπικό µέγιστο είτε ελάχιστο. Γενικά, το καταλληλότερο θ είναι αυτό που µεγιστοποιεί την L (θ ) . 1
Παράδειγµα: Έστω X 1 , X 2 ,…, X v τ.δ. από οµοιόµορφη κατανοµή U ( a, β ) . Να βρεθούν Ε.Μ.Π. για τα α και β. 1 f ( x; a, β ) = I (a ≤ x ≤ β ) β −a 1ο βήµα Πιθανοφάνεια: v
1 v 1 L ( a, β ) = ∏ f ( xi ; a, β ) = ∏ I (a ≤ x ≤ β ) = ∏ I (a ≤ x ≤ β ) * β − a β − a i =1 i =1 i=1 ! Αν υπολογίσουµε παραγώγους ως προς α,β, και τις εξισώσουµε µε το 0, θα προκύψει ότι, τουλάχιστον ένα από τα α και β είναι άπειρο. Παρατηρούµε ότι: Το α πρέπει να είναι µικρότερο από όλες τις παρατηρήσεις ( a < X i ) και κατά v
v
( )
συνέπεια και από το ελάχιστο δειγµατικό X (1) , ενώ το β πρέπει να είναι µεγαλύτερο από όλες τις παρατηρήσεις ( β > X i ) και κατά συνέπεια και από το µέ-
( )
γιστο δειγµατικό X ( v )
Άρα η πιθανοφάνεια µεγαλώνει, όσο µικραίνει το β-α, δηλαδή αν πάρουµε την ελάχιστη δυνατή τιµή του β και τη µέγιστη δυνατή τιµή του α, δηλαδή β = x( v ) και aɵ = x(1) . Μικρότερο διάστηµα β − a = x( v ) − x(1) , άρα µέγιστη L ( a, β ) =
1
( X( ) − X( ) )
v
.
1
v
aɵ = min { X i } = X 1 () Άρα οι ζητούµενες Ε.Μ.Π. είναι: = max { X } = X β i (v) Παρατήρηση Οι Ε.Μ.Π. έχουν την ιδιότητα του Αναλλοίωτου (Invariance property). Αν θɵ είναι η Ε.Μ.Π. του θ, και u (θ ) είναι συνάρτηση του θ, µε µονότιµη αντίστροφή συνάρτηση, τότε η u θɵ είναι η Ε.Μ.Π. του u (θ ) .
()
π.χ. αν έχουν τ.δ. από κανονική κατανοµή (Ν(µ,σ2)) και ζητείται ο log (σ 2 ) , v
(
)
2 1 βρίσκουµε την Ε.Μ.Π. του σ 2 , δηλαδή σ 2 = ∑ xi − x και θέτουµε Ε.Μ.Π. v i =1 2 1 v log σ 2 = log ∑ xi − x v i =1 Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή µε αθροιστική συνάρτηση κατανοµής:
(
)
2
F ( x;θ ) = 1 −
α)
θ3
,x ≥θ > 0 x3 Να δειχθεί ότι: η δ = X (1) = min X i είναι Ε.Μ.Π. του θ και να βρεθεί η
κατανοµή της. β) Να βρεθεί σταθερά a ∈ ℝ , τέτοια ώστε: η δ1 = aX (1) να είναι αµερόληπτη εκτιµήτρια του θ. Είναι η δ1 συνεπής; Λύση: d d d θ3 α) f ( x;θ ) = F ( x;θ ) = −θ 3 x −3 ) = ( −θ 3 ) ( −3) x −3−1 = ( 1 − 3 = dx dx x dx
θ3
, x ≥ θ > 0 , και επειδή το στήριγµα εξαρτάται από το θ, επισυνάπτεται η x4 δείκτρια συνάρτηση: 3
f ( x;θ ) = 3
θ3
I (θ < x < ∞ ) . x4 Πιθανοφάνεια: v
L (θ ) = ∏ f ( xi ,θ ) = i =1
3v θ 3v
v
θ3
v
i =1
xi
i =1
∏3
I θ < x < ∞ ) = 3v θ 3v ∏ 4 (
1 I (θ < x < ∞ ) = xi 4
v
1
∏x
∏ I (θ < x < ∞ ) , η οποία µεγιστοποιείται, για αριθµητή µέγιστο, i
v
4 i =1
i
i =1
δηλαδή για θ = X (1) max L (θ ) =
3v X (1)3v v
∏x
.
4
i
i =1
Κατανοµή της T = X (1)
(
)
(
)
FT ( t ) = P (T ≤ t ) = P X (1) ≤ t = 1 − P X (1) > t = 1 − P ( X 1 , X 2 ,..., X v > t ) = 1 − P ( X 1 > t ) P ( X 2 > t ) ⋅ ⋅ ⋅ P ( X v > t ) = 1 − P ( X > t ) = 1 − 1 − P ( X ≤ t ) = v
v
v
θ 3 θ 3 θ 3v 1 − 1 − FX ( t ) = 1 − 1 − 1 − 3 = 1 − 3 = 1 − 3v t t t d d θ 3v 3v d −3 v 3v −3v −1 fT ( t ) = FT ( t ) = )= 1 − 3v = ( −θ ) ( t ) = ( −θ ) ( −3v ) ( t dt dt t dt v
3vθ 3v ,t ≥ θ . t 3v +1
3
v
∞
( ) ∫ tf
E (T ) = E X (1) =
β)
∞
T
θ
∞
θ 3v
( t ) dt = ∫ t 3v 3v+1 dt = t
∞
3vθ
3v
θ
1
∫θ t
3v
dt =
∞
3vθ 3v 1 1 3vθ 1 1 −3 v +1 3vθ t = = 3v −1 − 3v −1 = 3v −1 −3v + 1 ∞ θ −3v + 1 t θ −3v + 1 θ 3v 3v 3v 3vθ 1 3vθ 1 3v θ 3v ⋅ 3v −1 = ⋅θ 0 − 3v−1 = − 3v−1 = −3v + 1 θ −3v + 1 θ 3v − 1 θ 3v − 1 Βλέπουµε ότι το επίπεδο της µεροληψίας είναι ελάχιστο, αν το ν είναι αξιοσέβαστο, αλλά εξακολουθεί να υπάρχει. Ζητάµε α: δ1 = aX (1) αµερόληπτη εκτιµήτρια του θ. 3v
3v
θ
E (δ1 ) = E ( aT ) = θ , δηλαδή: aE (T ) = θ ⇒ a =
E (T )
=
θ 3v ⋅θ 3v − 1
=
3v − 1 3v
Για τη συνέπεια: Αφού έχουµε δείξει ότι E (δ1 ) = θ , δηλαδή αµερόληπτη, αρκεί ν.δ.ό. limV (δ1 ) = 0 v →∞
2
3v − 1 V (δ1 ) = V ( aT ) = a V (T ) = V (T ) (1) 3v 2
V (T ) = E (T 2 ) − E (T ) (2) 2
∞
∞
∞
∞
3vθ 3v dt 1 1 E (T ) = ∫ t FT ( t ) dt = ∫ t 3v +1 dt = 3vθ 3v ∫ 3v −1 = 3vθ 3v t 3v −2 = t t − 3 v + 1 + 1 θ θ θ θ 2
2
2
∞
1 1 1 1 1 1 3v 3vθ − = 3 v θ − = −3v + 2 ∞3v −2 θ 3v−2 −3v + 2 t 3v−2 t 3v−2 θ 3v
1 1 1 1 3v θ 3v 3v 2 3v 3vθ = ⋅ 3v −2 = θ (3) 0 − 3v −2 = 3vθ 3v − 2 −3v + 2 θ 3v − 2 θ 3v − 2 θ 3v − 2 3v
2
3v − 1 (1)(2)(3) ⇒ V (δ1 ) = V (T ) = 3v 2 2 3v − 1 3v 2 3v θ − ⋅θ = 3v 3v − 2 3v − 1
2
{
}
2 3v − 1 2 E (T ) − E (T ) = 3v 2 ( 3v − 1) 3v θ 2 − 9v 2θ 2 = 2 9v 2 3v − 2 3 v − 1 ( )
3v ( 3v − 1) 2 9v 2θ 2 3v − 1) 3v − 1) θ 2 − ( 3v − 2 ) 3vθ 2 ( ( 2 2 = θ −θ = = θ − 9v 2 ( 3v − 2 ) 9v 2 ( 3v − 2 ) 3v ( 3v − 2 ) 3v 2
2
2
2 2 2 ( 3v − 1)2 − ( 3v − 2 ) 3v θ 2 θ2 = 9v − 6v + 1 − 9v + 6v θ = ⇒ ( 3v − 2 ) 3v ( 3v − 2 ) 3v ( 3v − 2 ) 3v
θ2 limV (δ1 ) = lim = 0, v →∞ v →∞ ( 3v − 2 ) 3v 4
άρα η δ1 είναι συνεπής. Παράδειγµα – Άσκηση (∆εν θεωρείται εύκολη άσκηση): Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή µε x3 f ( x ,θ ) = exp − , x ≥ 0,θ > 0 . θ θ Να δειχθεί ότι η εκτιµήτρια µέγιστης πιθανοφάνειας είναι αµερόληπτη και συνεπής. Λύση: v v x3 3x 2 Πιθανοφάνεια: L (θ ) = f ( x,θ ) = ∏ f ( xi ,θ ) = ∏ i exp − i = i =1 i =1 θ θ 3v v 2 1 v 3 x exp v∏ i − θ ∑ xi θ i =1 = 1 i 3v v 2 1 v 3 l (θ ) = log L (θ ) = log v ∏ xi exp − ∑ xi = θ i =1 θ i =1 v 3v v 2 3v 1 v 1 v 3 log v ∏ xi + log exp − ∑ xi = log v + log ∏ xi 2 − ∑ xi 3 = θ i=1 i =1 θ i=1 θ i =1 θ v 3v v 1 v 3 1 v 3 2 2 log v + ∑ log ( xi ) − ∑ xi = v log3 − v log θ + ∑ log ( xi ) − ∑ xi θ i =1 θ i =1 i =1 θ i =1 v ∂l (θ ) ∂ 1 v 3 v 1 v 3 2 = v log3 − v log + log x − x = − θ ( i ) θ ∑ i θ + θ 2 ∑ xi = 0 ⇒ ∑ ∂θ ∂θ i =1 i =1 i =1 3x 2
1 v 3 θ2 1 v 3 xi = ⇒ θ = ∑ xi ∑x = ⇒ v∑ θ 2 i =1 i θ v i =1 θ i =1 Ελέγχουµε αν πρόκειται για µέγιστο µε το πρόσηµο της β΄ παραγώγου: v ∂ 2l (θ ) ∂ ∂l (θ ) ∂ v 1 v 3 v −3 = − + 2 ∑ xi = 2 + ( −2 )θ ∑ xi 3 = = 2 ∂θ ∂θ ∂θ ∂θ θ θ i =1 θ i =1 1
v
v
3
v
v
θ
2
−
2
θ
3
v
∑x
i
i =1
∂ l (θ ) = ∂θ 2 θ =θɵ 2
3
=
vθ
θ
3
−
2
θ
3
v
∑x
i
i =1
3
=
vθ − 2∑ xi 3
θ
i =1 3
v 1 v 3 3 v x − 2 xi ∑ v ∑ i ∑ xi i =1 = i=1 3i =1 = 3 v ɵ 1 θ 3 v ∑ xi i =1
vθɵ − 2
v
3
5
v
∑x
i
i =1
v
3
− 2∑ xi 3 i =1
1 x3 3 ∑ i v i=1 v
3
=
v
−v3 ∑ xi 3 i =1
v 3 ∑ xi i =1
3
=
−v 3 v 3 ∑ xi i =1
2
< 0 . Άρα το ακρότατο που διαπιστώσαµε πριν, πρόκειται
v
1 3 για µέγιστο και εποµένως: θɵ = ∑ xi . v i =1 1 v 1 v 1 v E θɵ = E ∑ xi 3 = E ∑ xi 3 = ∑ E ( xi 3 ) (1) v i =1 v i =1 v i =1 ∞ x3 2 − 3 3 3x E ( xi ) = ∫ x e θ dx , το οποίο δεν είναι εύκολο να λυθεί.
()
θ
−∞
Υπάρχει άλλος τρόπος µε τον οποίον θα µπορούσαµε να το βρούµε. Θέτουµε Y = x3 και προσπαθούµε να βρούµε την κατανοµή, τη µέση τιµή και διασπορά της; Κατανοµή του x 3 . Αρχικά βρίσκουµε την αθροιστική της Y = x3 στην αρχή:
( ) ( y) ( y ) = dyd F y =
FY ( y ) = P (Y ≤ y ) = P ( x 3 ≤ y ) = P x ≤ 3 y = FX dF ( y ) dFY ( y ) d fY ( y ) = Y = = FX dy dy dy 2 − 3
3 y 2 − 3 3 θ
1 3 fY ( y ) = y y e 3 θ
⇒ fY ( y ) =
3
1 3
3
X
1
θ
−
13 1 − 32 fX y y 3
y
θ
e ,
δηλαδή η Y = x3 ακολουθεί εκθετική κατανοµή µε παράµετρο θ (ή 1 Yi = xi 3 ~ Exp . θ Και εύκολα συµπεραίνουµε ότι: E [Y ] = θ = E ( x 3 ) 1 vn 1 ɵ E θ = ∑ E ( x3 ) = vθ = θ , άρα αµερόληπτη. v i =1 v v 1 Το άθροισµα ∑ xi 3 ~ Gamma v, θ i =1 όπου ν το πλήθος των εκθετικών που θα προσθέσουµε v v E ∑ Yi = E ∑ xi 3 = vθ (µέση τιµή της γάµµα) i=1 i=1 Συνέπεια: 1 1 1 v 3 v 3 ɵ Var θ = Var ∑ xi = 2 Var ∑ xi = 2 Var (T ) v i =1 v i =1 v
()
6
1
θ
),
Var (T ) =
v 2
= vθ 2
1 θ 1 θ2 Var θɵ = 2 ⋅ vθ 2 = v v
()
θ limVar θɵ = lim = 0 , άρα είναι συνεπής. v →∞ v →∞ v
()
2
7
Μέθοδος των Ροπών (Method of Moments) Αν θέλουµε να εκτιµήσουµε s παραµέτρους, εξισώνουµε τις s πρώτες ροπές (περί το 0) πληθυσµού – δείγµατος. για s = 1 , εξισώνουµε το την πρώτη δειγµατική ροπή (δειγµατικό µέσο) µε τη ροπή του πληθυσµού, η οποία θα είναι συνάρτηση της παραµέτρου (ή και η ίδια η παράµετρος), οπότε µε αντίστροφη συνάρτηση παίρνουµε την εκτιµήτρια της 1 v παραµέτρου: ∑ X i = g (θ ) ⇒ θ = g −1 X v i =1 1 v M '1 = ∑ xi = x v i =1 1 v M '2 = ∑ xi 2 v i =1 . . 1 v s M 's = ∑ xi v i =1 και από την άλλη τις θεωρητικές και έχουµε: µ '1 = E ( X )
( )
µ '2 = E ( X 2 )
. .
µ 's = E ( X s )
∆ειγµατικές = θεωρητικές ροπές. Αν είναι π.χ. διωνυµική E ( X ) = vp (ν γνωστό) άρα εξετάζω το p. 1 v 2 Αν είναι περί το µ θα είναι M '2 = ∑ ( xi − µ ) (η διασπορά) v i =1 Απλά παραδείγµατα Άσκηση Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή Bernoulli (p) ( Bin (1, p ) ) . Να βρεθεί εκτιµήτρια του p, µε τη µέθοδο των ροπών. Λύση: 1− x f ( x, p ) = p x (1 − p ) , x = 0,1. M '1 = x, (δειγµατικ ή ) p = X Η πρώτη δειγµατική µε θεωρητική είναι περί µ '1 = p, (θεωρητικ ή ) την αρχή, ενώ τη δεύτερη µπορούµε να την πάρουµε περί το µέσο. Άσκηση Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή Poisson (λ). 8
Να βρεθεί εκτιµήτρια του λ, µε τη µέθοδο των ροπών. Λύση: f ( x, λ ) = exp ( −λ )
λx x!
, x = 0,1, 2,...
M '1 = x ɵ λ=X. µ '1 = λ
Ροπές θεωρητικές, περί το µέσο είναι µk = E ( x − µ ) και οι αντίστοιχες δειγµατικές είναι: M k =
(
k
)
k 1 v xi − x . ∑ v i =1
Άσκηση Έστω X 1 , X 2 ,…, X v τ.δ. από ∆ιωνυµική κατανοµή ( Bin ( n, p ) ) . Να βρεθεί εκτιµήτρια του p, µε τη µέθοδο των ροπών. Λύση: µ = E ( X ) = x ⇒ np = x (1)
(
)
(
)
2 2 1 v 1 v 2 σ = E ( x − µ ) = ∑ xi − x ⇒ np (1 − p ) = ∑ xi − x = M 2 ( 2 ) v i =1 v i =1 np x ∆ιαιρούµε τη (2) διά της (1): = ⇒ x (1 − p ) = M 2 ⇒ np (1 − p ) M 2 2
M M2 ⇒ p =1− 2 x x 2 x x x x (1) ⇒ n = = = = . p 1− M2 x − M2 x − M2 x x Παρατηρήσεις: α) Το n θα πρέπει να είναι ακέραιος. Άρα θα πάρουµε τον πλησιέστερο α1− p =
2
x κέραιο ή το ακέραιο µέρος της παράστασης . x − M2 M M2 β) Πρε΄πει να ισχύει 0 < p < 1 , άρα και 0 < 1 − 2 < 1 ⇒ <1⇒ M2 < x x x Αν αυτό δεν ισχύει τότε σηµαίνει ότι η διωνυµική κατανοµή δεν είναι καλό µοντέλο για την περιγραφή των δεδοµένων µας. Αν M 2 ≈ X η κατανοµή Poisson φαίνεται να είναι ένα κατάλληλο µοντέλο E ( X ) = V ( X ) = λ
Αν M 2 > X η αρνητική διωνυµική κατανοµή φαίνεται να είναι ένα κατάλληλο µοντέλο E ( X ) < V ( X ) 9
Αν M 2 >> X (overdispersion) µία µικτή κατανοµή Poisson (π.χ. άλλη το πρωί, άλλη το απόγευµα) φαίνεται να είναι ένα κατάλληλο µοντέλο. Η µέθοδος των ροπών είναι σαφώς πιο εύκολη, αλλά πιο ποιοτική είναι η µέθοδος της πιθανοφάνειας.
10