Τρίτη, 1 ∆εκεµβρίου 2009.
ΕΚΤΙΜΗΤΙΚΗ Μέθοδος Ευρέσεως Εκτιµητριών. • Μέθοδος µέγιστης Πιθανοφάνειας • Μέθοδος Ελαχίστων Τετραγώνων • Μέθοδος των Ροπών Οι προαναφερθείσες µέθοδοι ανήκουν στην Κλασική Στατιστική. • Μπεϋζιανή Στατιστική (Στατιστική κατά Bayes) Ορισµός: Συνάρτηση Πιθανοφάνειας (Likelyhood function) Είναι η από κοινού σ.π. (ή σ.π.π.) ενός τ.δ. X 1 , X 2 ,…, X v , ως συνάρτηση της άγνωστης παραµέτρου θ. v
L (θ ) = L (θ , x1 , x2 ,..., xv ) = f ( x1 , x2 ,..., xv ,θ ) = ∏ f ( xi ,θ ) i =1
Για κάθε θ ∈ Θ (µπορεί να είναι και διάνυσµα) και για συγκεκριµένο δείγµα, µπορούµε να βρούµε την τιµή της συνάρτησης πιθανοφάνειας. Εκτιµήτρια Μέγιστης Πιθανοφάνειας (Ε.Μ.Π.). Εκτιµήτρια Μέγιστης Πιθανοφάνειας θɵ καλείται η σ.σ. που µεγιστοποιεί τη
()
συνάρτηση πιθανοφάνειας L (θ ) ως προς θ. Για συγκεκριµένο δείγµα, η εκτιµήτρια συνάρτηση θɵ θα παίρνει συγκεκριµένη τιµή, την εκτίµηση (Εκτίµηση = η τιµή του θ, από την οποία είναι πιο πιθανό να έχουν προέλθει τα δεδοµένα µου). L θɵ / x = max L (θ / x )
(
)
sup
θ ∈Θ
Παράδειγµα: Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή Bernoulli (θ). Να βρεθεί η ε.µ.π. του θ. Λύση: 1− x f ( x,θ ) = θ x (1 − θ ) , x = 0,1. v
L (θ ) = L (θ , x1 , x2 ,..., xv ) =
v
v
∏ f ( x ,θ ) = ∏θ (1 − θ ) x
i
i =1
1− x
= θ
∑ xi i =1
v
1− x (1 − θ )∑i =1 i =
i =1
v
θ
∑ xi i =1
v
(1 − θ )
v−
∑ xi i =1
Παρατήρηση Η τιµή της θ, που µεγιστοποιεί την L (θ ) , µεγιστοποιεί επίσης και τη συνάρτηση l (θ ) = log L (θ ) (Λογαριθµική εκδοχή της πιθανοφάνειας – log likelihood) Χρησιµποιούµε την l (θ ) για ευκολία! 1
v ∑ xi v v v −∑ xi i = 1 l (θ ) = ln L (θ ) = ln θ 1 − θ = x ln θ + v − x ( ) i =1 ∑ ∑ i i ln (1 − θ ) i =1 i =1 ∂ ∂2 Για να έχουµε µέγιστο, θα πρέπει l (θ ) = 0 και l (θ ) < 0 ∂θ ∂θ 2 v
v
∑x
v ∂ ∂ v l (θ ) = x ln θ + v − xi ln (1 − θ ) = ∑ ∑ i ∂θ ∂θ i =1 i =1 v
∑ xi i =1
θ
v
−
∑ xi
v + i =1 = 1−θ 1−θ v
v
i =1
i =1
i =1
∑ xi − θ ∑ xi − vθ + θ ∑ xi v
v
∑ x − vθ = 0 ⇒ ∑ x i
i
i =1
v
i =1
i =1
θ (1 − θ )
v
θ (1 − θ )
v
(1 − θ ) ∑ xi − vθ + θ ∑ xi
i
i =1
θ
v 1 + v − ∑ xi ( −1) = 1 − θ = 1 i
=
v
∑ x − vθ i
=
=0⇒
i =1
θ (1 − θ )
= vθ ⇒
i =1
v
θɵ =
∑x
i
i =1
v
Μέθοδος Εργασίας για την Εύρεση Ε.Μ.Π. Αν X 1 , X 2 ,…, X v είναι τ.δ. από κατανοµή µε σ.π.π. f ( xi ,θ ) i) Εύρεση συνάρτησης πιθανοφάνειας: L (θ ) = L (θ , x1 , x2 ,..., xv ) =
v
∏ f ( x ,θ ) = i
i =1
ii)
Μεγιστοποίηση της L (θ ) ως προς θ.
∂L (θ ) ∂l (θ ) ∂ =0 ή = ln L (θ ) = 0 ∂θ ∂θ ∂θ ∂ 2 L (θ ) ∂ 2l (θ ) iii) Για να είναι µέγιστο, πρέπει <0 ή <0 ∂θ 2 ∂θ 2 (Ισχύει για τις γνωστές κατανοµές)
θɵ είναι η τιµή για την οποία:
Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή Poisson (λ). Να βρεθεί λɵ , δηλ. εκτιµητής µέγιστης πιθανοφάνειας του λ. Λύση: f ( x, λ ) = e
−λ
λx x! 2
v
v
v
∏ e− λ
L ( λ ) = ∏ f ( xi , λ ) =
λx
i
xi !
i =1
i =1
∑ xi
e − vλ λ i =1
=
v
∏x !
.
i
i =1
v
l ( λ ) = ln L ( λ ) = ln
e
− vλ
λ
∑ xi i =1
v
∏x !
v
= ln e
− vλ
+ ln λ
∑ xi i =1
v
− ln ∏ xi ! = i =1
i
i =1
v
v
i =1
i =1
−vλ + ∑ xi ln λ − ln ∏ xi ! v
∑ v v ∂l ( λ ) ∂ 1 v = −vλ + ∑ xi ln λ − ln ∏ xi ! = −v + ∑ xi = 0 ⇒ λ = i =1 λ i =1 ∂λ ∂λ v i =1 i =1 ∂ 2l ( λ ) ∂λ 2 λ =λɵ
1 v ∂ −v + ∑ xi λ i =1 = ∂λ
= −
v
1
∑x
λ2
=X.
1 v = − 2 ∑ xi < 0 λɵ i =1
i
i =1
xi
λ =λɵ
λ =λɵ v
άρα είναι µέγιστο και όντως η λ =
∑x
i
i =1
v
= X είναι η Ε.Μ.Π. για το λ.
Παράδειγµα: Έστω X 1 , X 2 ,…, X v τ.δ. από γεωµετρική κατανοµή (p), δηλαδή f ( x, p ) = p (1 − p ) , x = 1, 2,... , 0 < p < 1 [ x είναι ο αριθµός των αποτυχιών µέχρι την 1η επιτυχία]. Να βρεθεί p , δηλ. ε.µ.π. για το p. x
Λύση: v
L ( p ) = ∏ f ( xi , λ ) = i =1
v
v
∏ p (1 − p )
xi
xi = p (1 − p )∑ = i =1 v
i =1
v xi l ( p ) = ln L ( p ) = ln p v (1 − p )∑ = v ln p + xi ln (1 − p ) i =1 ∑ i =1 v v ∂l ( λ ) ∂ 1 v = v ln p + ∑ xi ln (1 − p ) = + ∑ xi ( −1) = p i =1 1 − p ∂λ ∂λ i =1 v v v 1 v v 1 v − xi ⇒ v − vp = p ∑ xi ⇒ p ∑ xi + vp = v ⇒ ∑ xi = 0 ⇒ p = 1 − p ∑ p 1 − p i=1 i =1 i =1 i =1 v
3
v v ⇒ p= p v + ∑ xi = v ⇒ p = v i =1 v + ∑ xi
i =1
∂ 2l ( p ) ∂λ 2 λ =λɵ
v 1 v ∂ − xi ∑ − p 1 p i =1 = ∂p
= −
1 v
1+
∑x
⇒ p=
1 1+ X
i
i =1
v
v − ( −1)1 v − ∑ xi p 2 (1 − p )2 i =1
= p = p
p = p
−
v v 1 − ∑ xi p 2 (1 − p )2 i =1
p =
v
< 0 , εφ’ όσον < v, ∑ xi > 0 άρα είναι µέγιστο και i =1
p = p
1 . 1+ X
Παρατήρηση: Εάν η συνάρτηση πιθανοφάνειας έχει s άγνωστες παραµέτρους θ = (θ1 ,θ 2 ,...,θ s ) , τότε η Ε.Μ.Π. του θ θα είναι το διάνυσµα των τ.µ. θɵ = θ ,θ ,...,θ για το οποίο µεγιστοποιείται η συνάρτηση πιθανοφάνειας
(
1
2
s
)
L (θ1 ,θ 2 ,...,θ s ) = f ( x1 , x2 ,..., xv ,θ1 ,θ 2 ,...,θ s ) Κάτω από ορισµένες συνθήκες οµαλότητας, το σηµείο που πεγιστοποιείται η L (θ ) , είναι η λύση ενός συστήµατος εξισώσεων , όλων των µερικών παραγώγων, αν αυτές τεθούν ίσες µε το µηδέν. ∂L (θ ) ∂l (θ ) =0 =0 ∂θ1 ∂θ1 ................. ισοδυναµεί µε ................. και, για να έχουµε µέγιστο, θα πρέπει ∂L (θ ) =0 ∂θ s
∂l (θ ) =0 ∂θ s
∂ 2 L (θ ) < 0, i = 1,2,..., s . ∂θi 2
Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από N ( µ = θ1 ,σ 2 = θ 2 ) . Να βρεθεί η ΕΜΠ για το θ = (θ1 ,θ 2 ) , θ1 ,θ 2 ∈ ℝ,θ 2 > 0 . Λύση: Θ = {(θ1 ,θ 2 ) : θ1 ,θ 2 ∈ ℝ,θ 2 > 0} Πιθανοφάνεια: 4
L (θ ) = L (θ1 ,θ 2 ) =
v
v
∏ f ( x ,θ ) = ∏ ( 2πθ ) 2
i
i =1
i =1
−
1 2
( xi − θ1 )2 exp − = 2 θ 2
1 v 2 ⋅ exp − ( xi − θ1 ) ∑ 2θ 2 i =1 v v − 1 v 2 − 2 l (θ1 ,θ 2 ) = ln L (θ1 ,θ 2 ) = ln ( 2π ) 2 θ 2 exp − x − θ ( ) ∑ i 1 = 2θ 2 i=1 v v v 1 2 − ln ( 2π ) − ln θ 2 − ( xi − θ1 ) ∑ 2 2 2θ 2 i=1 v 2
( 2π ) ⋅ θ 2 −
−
v 2
∂ ∂ v v 1 v 2 l (θ1 ,θ 2 ) = − ln 2 π − ln θ − ( ) ( xi − θ1 ) = ∑ 2 ∂θ1 ∂θ1 2 2 2θ 2 i =1 −
1 v ∂ 1 v 1 v 2 x − θ = − 2 x − θ − 1 = ( xi − θ1 ) = 0 ⇒ ∑ ( i 1) ∑ ( i 1 )( ) θ ∑ 2θ 2 i =1 ∂θ1 2θ 2 i =1 2 i =1 v
1 ( xi − θ1 ) = 0 ⇒ ∑ xi − ∑θ1 = 0 ⇒ v X − vθ1 = 0 ⇒ θ 1 = X = v ∑ xi (1) ∑ i =1 i =1 i =1 i =1 v
v
v
∂ ∂ v v 1 v 2 ln 2 ln l (θ1 ,θ 2 ) = − π − θ − ( ) ( xi − θ1 ) = ∑ 2 ∂θ 2 ∂θ 2 2 2 2θ 2 i =1
και
v 1 1 v v 1 v 2 2 − − 2 ∑ ( xi − θ1 ) = − x − θ1 ) = 0 ⇒ + 2 ∑( i 2θ 2 2θ 2 i =1 2θ 2 θ 2 2 i =1 2 1 v 1 v v 1 v 2 2 θ = x − X , x − θ = ⇒ x − θ = v ⇒ ( ) ( ) ∑ ∑ ∑ 2 i i 1 i 1 v i =1 2θ 2 2 i =1 2θ 2 θ 2 i =1 Η θ είναι αµερόληπτη εκτιµήτρια του θ , ενώ η θ δεν είναι αµερόληπτη εκτι−
(
1
1
2
µήτρια του θ 2 , καθ’ όσον αµερόληπτη εκτιµήτρια είναι η θ 2 =
( )
)
(
1 v ∑ xi − X v − 1 i=1
). 2
Είναι: E θ 1 = θ1 = µ και
( ) ( )
2 v −1 v −1 2 1 v E θ 2 = E ∑ xi − X = θ2 = σ v v v i =1 v −1 2 lim σ = σ 2 , δεν είναι αµερόληπτη εκτιµήτρια, αλλά ασυµπτω E θ 2 = lim v →∞ v →∞ v τικά αµερόληπτη και η εκτιµήτρια παραµένει συνεπής.
(
)
∆υσκολίες µε τη µέθοδο µέγιστης πιθανοφάνειας Υπάρχει περίπτωση η παραγώγιση να δώσει ακρότατο το οποίο δεν είναι ολικό µέγιστο. ∆εν χρησιµοποιούµε πάντα τη µέθοδο παραγώγισης Ειδικά για πολυπαραµετρικά προβλήµατα αριθµητικές ή αλγοριθµικές µεθόδους. 5