simeiakes_ektimiseis by dap ndfk

ΣΤΑΤΙΣΤΙΚΗ Ι ΜΕΡΟΣ ΙΙΙ ΣΗΜΕΙΑΚΕΣ ΕΚΤΙΜΗΣΕΙΣ Στατιστική Συµπερασµατολογία Ορισµός: Στατιστική Συµπερασµατολογία είναι η εξαγωγή συµπερασµάτων για έναν πληθυσµό, από ένα δείγµα. Έχω ένα υπόδειγµα µε κάποιες παραµέτρους για την περιγραφή του πληθυσµού και σε δεύτερο στάδιο επιχειρούµε να υπολογίσουµε τις παραµέτρους. Χωρίζεται στα παρακάτων κύρια µέρη: • Σηµειακή Εκτίµηση • ∆ιαστήµατα Εµπιστοσύνης • Ελέγχους Υποθέσεων Στατιστική Συνάρτηση Ορισµός: Στατιστική Συνάρτηση (σ.σ.) ή Συνάρτηση δείγµατος ή δειγµατοσυνάρτηση είναι κάθε συνάρτηση T ( X ) = T ( X 1 , X 2 ,..., X v ) ενός τυχαίου δείγµατος X 1 , X 2 ,..., X v , η οποία µπορεί να βρεθεί χωρίς τη γνώση της κατανοµής από την οποία προέρχεται το δείγµα. 2 1 v 1 v 2 π.χ. X = ∑ xi , s = x − x ∑ i v i =1 v − 1 i =1

(

)

ΣΗΜΕΙΑΚΗ ΕΚΤΙΜΗΣΗ Εκτιµήτριες Συναρτήσεις (σηµειακές) Ορισµός: Σηµειακές Εκτιµήτριες µιας παραµέτρου θ τις οποίες συµβολίζουµε µε θɵ , είναι στατιστικές συναρτήσεις οι οποίες εκτιµούν την προαναφερθείσα παράµετρο και, για συγκεκριµένα δείγµατα αντιστοιχούν σε συγκεκριµένες τιµές, τις εκτιµήσεις. π.χ. Έστω X 1 , X 2 ,..., X v τ.δ. από κανονική κατανοµή N ( µ ,σ 2 = 1) . Ζητείται να εκτιµηθεί την άγνωστη παράµετρο µ. Λύση Προσοχή! Η πραγµατική τιµή του µ είναι άγνωστη σταθερά. Η εκτίµηση µ είναι τυχαία µεταβλητή, ως συνάρτηση του δείγµατος. Για να είναι το µ καλή εκτιµήτρια του µ, θα πρέπει να είναι πολύ κοντά στην πραγµατική τιµή του µ. − µ < δ =1 lim Pr µ v →∞

)

(

είναι εκτιµήτρια του µ, η οποία βασίζεται σε ν παρατηρήσεις. µ v X i ~ N ( µ ,σ 2 = 1) , i = 1, 2,..., v. , άρα

( ( ) ( ))

X ~ N E X ,V X

1 v 1 v  1  v  1 v X = ∑ xi ⇒ E X = E  ∑ xi  = E  ∑ xi  = ∑ E ( xi ) = v i =1  v i=1  v  i=1  v i =1 1 vµ = µ v 1  v  1 v 1 v 1 1 v  V  ∑ xi  = 2 V  ∑ xi  = 2 ∑V ( xi ) = 2 ∑σ 2 = 2 vσ 2 = v i =1 v  v i =1  v  i =1  v i =1

( )

1 v ∑µ = v i =1

σ2 v

 σ2 1 Άρα X ~ N  µ , =  v v  Απόδειξη, µε Ροπογεννήτριες ότι ο δειγµατικός µέσος ακολουθεί κανονική κατανοµή:

Είναι γνωστό ότι µία τ.µ. Χ ακολουθεί κανονική κατανοµή, αν και µόνο αν ι σ 2t 2  σχύει: M X ( t ) = exp  µt + . 2   (Η ροπογεννήτρια συνάρτηση αυτή χαρακτηρίζει την κανονική κατανοµή)  σ 2t 2  tX 2 X i ~ N ( µ ,σ ) , i = 1, 2,..., v ⇔ M X i ( t ) = exp  µt +  ⇒ M X ( t ) = E e  = 2    t 1 ∑ xi  1 t xv   t 1v x1 t 1v x2  t 1v x1   t 1v x2   t 1v xv  v i =1 v   E e = E e ⋅ e ⋅ ... ⋅ e  = E e  E e  ⋅ ... ⋅ E e  =             n

2   2 t  σ     v v  t t t t t v M x1   ⋅ M x2   ⋅ ... ⋅ M xv   = ∏ M xi   = ∏ exp  µ   +    = 2  v v  v  i =1  v  i =1  v   v

  µ t σ 2t 2    µt  σ 2t 2  σ 2t 2  = exp  + 2  = exp v + v 2  = exp  µ t + 2v  2v  2v  v  v    σ2 2 t    v exp  µ t +  , από την οποία συµπεραίνουµε ότι 2    

 σ2  X ~ N  µ,  v  

Έστω X 1 , X 2 ,..., X v τ.δ. από κανονική κατανοµή N ( µ ,σ 2 = 1) .  σ2 1 x−µ X ~ N  µ, = z= ~ N ( 0,1) 1 v v  v − µ < δ = 1 ⇒ lim Pr −δ < µ − µ < δ =1⇒ µ =X Θέλουµε: lim Pr µ v v →∞

)

(

v →∞

)

  −δ µ − µ δ   Pr −δ < µ − µ < δ = Pr < < = Pr −δ v < z < δ v =  1 1 1   v v v  Φ δ v − Φ −δ v = Φ δ v − 1 − Φ δ v  = 2Φ δ v − 1   − µ < δ = lim  2Φ δ v − 1 = Συνεπώς: lim Pr µ  v →∞ v →∞ 

(

)

) (

(

)

(

)

(

)

(

)

(

)

2lim Φ δ v − 1 = 2 ⋅ 1 − 1 = 1 v →∞

Άρα ο δειγµατικός µέσος, X είναι µια «καλή» εκτιµήτρια για το µ. Ορισµός: Το σύνολο Θ ⊆ ℝ s , το οποίο αποτελείται από όλες τις τιµές, τις οποίες µπορεί να πάρει η παράµετρος θ = (θ1 ,θ 2 ,...,θ s ) , λέγεται παραµετρικός χώρος. π.χ. αν θ = ( µ ,σ 2 ) , τότε Θ = ℝ × [ 0, ∞ ) Γενίκευση: Υπόδειγµα µε παράµετρο θ = (θ1 ,θ 2 ,...,θ s ) . Μπορεί να ενδιαφέρει να υπολογίζω κάποια συνάρτηση της παραµέτρου g (θ ) και όχι την ίδια τη συνάρτηση. Έχει, επίσης, έννοια, να µιλάµε για εκτιµήτρια της συναρτήσεως g (θ ) , η οποία θα είναι επίσης συνάρτηση του δείγµατος. 4

Ιδιότητες (Κριτήρια) «Καλών» Εκτιµητριών. α) β) γ) δ) ε)

Αµεροληψία Αµεροληψία µε ελάχιστη διασπορά (α.ε.ε.δ.). Επάρκεια. Συνέπεια. Αποτελεσµατικότητα.

ΑΜΕΡΟΛΗΨΙΑ Αµερόληπτες Εκτιµήτριες. (Unbiased Estimators) Έστω X = ( X 1 , X 2 ,..., X v ) τ.δ. από κατανοµή µε σ.π. f ( x,θ ) , θ ∈ Θ ⊆ ℝ S και µία σ.σ. U = U ( X ) του δείγµατος. Ορισµός: Η σ.σ. U = U ( X ) θα λέγεται αµερόληπτη εκτιµήτρια της παραµέτρου θ, εάν η αναµενόµενη τιµή της U ισούται µε την ίδια την παράµετρο θ, δηλαδή E U ( X )  = θ , ∀θ ∈ Θ .

Το ίδιο ισχύει και για διανυσµατική παράµετρο θ = (θ1 ,θ 2 ,...,θ s ) και για συνάρτηση του θ , g (θ ) . Άσκηση Έστω X 1 , X 2 ,..., X v τ.δ., από κανονική κατανοµή N ( µ ,σ 2 ) , σ 2 γνωστό

(θ = µ ) . Να εξετασθεί αν οι παρακάτω σ.σ. είναι αµερόληπτες εκτιµήτριες του θ: α) T1 ( X ) = X 1 X + X2 β) T2 ( X ) = 1 2 v 1 γ) T3 ( X ) = ∑ X i = X v i =1 Λύση α) E T1 ( X )  = E ( X 1 ) = θ , άρα η T1 είναι αµερόληπτη εκτιµήτρια του θ. 1  X + X2  1 E T2 ( X )  = E  1  =  E ( X 1 ) + E ( X 2 )  = (θ + θ ) = θ , άρα 2 2   2 και η T2 είναι αµερόληπτη εκτιµήτρια του θ.

β)

1 1 v  1  v  1 v E T3 ( X )  = E  ∑ X i  = E  ∑ X i  = ∑ E ( X i ) = vθ = θ , άρα v  v i =1  v  i =1  v i =1 και η T3 είναι αµερόληπτη εκτιµήτρια του θ.

γ)

Συνέχεια Άσκησης Ποια από τις παραπάνω αµερόληπτες εκτιµήτριες θα διαλέξουµε; Είναι λογικό να επιλέξουµε αυτή µε τη µικρότερη διασπορά. α) V T1 ( X )  = V ( X 1 ) = σ 2 .

β)

1  X + X2  1 V T2 ( X )  = V  1  = V ( X 1 + X 2 )  = V ( X 1 ) + V ( X 2 )  = 2 4   4

1 2 σ2 σ + σ 2  = . 4 2 1  v 1 v 1 v    γ) V T3 ( X )  = V  ∑ X i  = 2 V  ∑ X i  = 2  ∑V ( X i )  =  v i =1  v  i =1  v  i =1  2 v 1 σ  1 σ 2  = 2 vσ 2 = , άρα για v > 2 θα επιλέξουµε την T3 ( X ) 2 ∑ v  i =1  v v

Υπενθύµιση: Γενικά ισχύει η σχέση: V ( aX + β Y ) = a 2V ( X ) + β 2V (Y ) + 2aβ Cov ( X , Y ) Για X , Y ανεξάρτητα, ισχύει: Cov ( X , Y ) = 0 , οπότε: V ( aX + β Y ) = a 2V ( X ) + β 2V (Y )

και για τ.δ. X 1 , X 2 ,..., X v ισχύει:  v V  ∑ ai X i  i =1

v −1 v  v 2  = ∑ ai V ( X i ) + 2∑ ∑ ai a jCov ( X i , X j ) i =1 j =i +1  i =1

Συµβολισµός: Η «εκτίµηση» της παραµέτρου θ συµβολίζεται µε Με το θɵ . Άσκηση- Παράδειγµα: Έστω X 1 , X 2 ,..., X v τ.δ., από κατανοµή Bernoulli (θ ) . Να εξετασθεί αν οι παρακάτω σ.σ. είναι αµερόληπτες εκτιµήτριες του θ ή της g (θ ) = θ 2 : α) β) γ) δ)

T1 ( X ) = X X + Xv T2 ( X ) = 1 2 T3 ( X ) = X 1 ⋅ X v X X + X 2 X 3 + ... + X v −1 X v T4 ( X ) = 1 2 c

Λύση 1− x Bernoulli f ( x;θ ) = θ x (1 − θ ) , x = 0,1 , οπότε E ( X ) = θ , V ( X ) = θ (1 − θ ) 1 v  1  v  1 v E T1 ( X )  = E X = E  ∑ X i  = E  ∑ X i  = ∑ E ( X i ) =  v i =1  v  i =1  v i =1 1 v 1 θ = vθ = θ , άρα η T1 είναι αµερόληπτη εκτιµήτρια του θ. ∑ v i =1 v 1  X + Xv  1 β) E T2 ( X )  = E  1  =  E ( X 1 ) + E ( X v )  = (θ + θ ) = θ , άρα 2 2   2 και η T2 είναι αµερόληπτη εκτιµήτρια του θ.

α)

( )

X1 , X v ανεξ ά ρτ .

γ) E T3 ( X )  = E ( X 1 ⋅ X v ) = E ( X 1 ) ⋅ E ( X v ) = θ ⋅ θ = θ 2 , άρα η T3 δεν είναι αµερόληπτη εκτιµήτρια του θ, είναι, όµως, αµερόληπτη εκτιµήτρια της g (θ ) = θ 2 .  1 v −1   X 1 X 2 + X 2 X 3 + ... + X v−1 X v  δ) E (T4 ( X ) ) = E   = E  ∑ X i X i +1  = c    c i =1  v −1 v −1 v −1 v −1 1  1 1  1 E  ∑ X i X i +1  = ∑ E ( X i X i +1 ) = ∑ E ( X i ) E ( X i +1 ) = ∑θ ⋅ θ = c i =1 c i =1 c  i =1  c i =1 v −1 1 1 v −1 2 θ 2 = ( v − 1)θ 2 = θ , άρα η T4 είναι αµερόληπτη εκτιµήτρια της ∑ c i =1 c c g (θ ) = θ 2 , αν και µόνο αν c = v − 1 .

Υπενθύµιση: Τετραγωνική Κατανοµή: Αν X 1 , X 2 ,..., X v τ.δ., από τυποποιηµένη κανονική κατανοµή ~ N ( 0,1) , τότε v

λέµε ότι η σ.σ. U ( X ) = ∑ X i 2 = X 12 + X 2 2 + ... + X v 2 ακολουθεί την τετραγωνιi =1 2 v

κή κατανοµή U ( X ) ~ X (Χι τετράγωνο µε ν βαθµούς ελευθερίας -chi square). Το ν καλείται βαθµός ελευθερίας. v 2

Η κατανοµή έχει Ροπογεννήτρια την M ( t ) = (1 − 2t ) Τότε −

v −1 1  x 2 f ( x) = x exp  −  ,0 < x < ∞ , δηλαδή κατανοµή Γάµα, v v  2 Γ   22 2 ∞  x 1 a −1 f ( x) = x exp  −  , όπου Γ ( a ) = ∫ x a−1e− x dx a Γ(a) β  β 0 v µε a = και β=2. 2 Παρατηρήσεις 1) Αν W ~ X (2v ) . Τότε E (U ) = v και V (U ) = 2v

2) 3)

Αν X ~ N ( µ ,σ 2 ) , τότε z = 2

x−µ

~ N ( 0,1) οπότε η Z 2 ~ X (21)

Αν Y1 ~ X v1 , Y2 ~ X v2 , …, Yk ~ X vn 2 , ανεξάρτητα, τότε το άθροισµα n

W = ∑ Yi ~ X i =1

2 v = v1 + v2 +...+ vn

Θεώρηµα:

1 v Αν X 1 , X 2 ,..., X v ~ N ( µ ,σ ) , X = ∑ X i (δειγµατικός µέσος) και v i =1 v 2 1 s2 = xi − X (δειγµατική διασπορά), ∑ v − 1 i =1 Τότε: Τα X , s 2 είναι ανεξάρτητα και i) v −1 2 ii) s ~ X v2−1 2 2

(

)

σ Η s 2 είναι αµερόληπτη εκτιµήτρια του σ 2 .

iii)

Απόδειξη: v −1 2 v −1 1 v ii) s = ⋅ ∑ x −X σ 2 v − 1 i =1 i σ2

(

∑ i =1

(x − X ) i

)

σ2

∑( x − X ) v

i =1

~ X v2−1

v −1  v −1  E  2 s2  = v − 1 ⇒ E  s 2  = v − 1 ⇒ E  s 2  = σ 2 , άρα η s 2 είναι 2 σ σ  αµερόληπτη εκτιµήτρια του σ 2 .

iii)

Προσοχή! Ο συντελεστής δεν είναι 1 v διότι τότε δεν θα είχαµε αµερόληπτη εκτιµήτρια της διασποράς! Παράδειγµα: Έστω X 1 , X 2 ,..., X v ~ N ( µ = 0,σ 2 = θ ) . 1 v Ν.δ.ό. η σ.σ. T = T ( X ) = ∑ X i 2 είναι αµερόληπτη εκτιµήτρια του θ και v i =1 2 2θ V (T ) = v Απόδειξη: 1 v 1 v 1 v  1  v  1 v E ( T ) = E  ∑ X i 2  = E  ∑ X i 2  = ∑ E ( X i 2 ) = ∑V ( X i ) = ∑θ = v i =1 v i =1  v i =1  v  i=1  v i =1 1 vθ = θ , άρα η Τ είναι αµερόληπτη εκτιµήτρια του θ. v 1  v 1 v  2 V (T ) = V  ∑ X i  = 2 V  ∑ X i 2  *  v i =1  v  i =1  10

v X i2 X i2  Xi  2 2 X i ~ N ( 0,θ ) ⇒ ~ N ( 0,1) ⇒   = θ ~ X1 ⇒ ∑ θ ~ X v ⇒ θ  θ i =1  v X i2  1  v 1 v  v 2 2 2 2 V ∑  = 2v ⇒ V  ∑ X i  = 2 V  ∑ X i  = 2v ⇒ V  ∑ X i  = 2vθ ,  θ i=1  θ  i =1   i =1   i=1 θ  2 1  v 2θ  1 οπότε η * γίνεται: V (T ) = 2 V  ∑ X i 2  = 2 2vθ 2 = v  i =1 v  v

Άσκηση: (µέρος θέµατος - Σεπτέµβριος 2005) Έστω X 1 , X 2 ,..., X v τ.δ. από κατανοµή µε µέσο µ, διασπορά σ2, και v

(

T = c∑ X i − X i =1

)

µια εκτιµήτρια της παραµέτρου σ 2 , (µε µ άγνωστο). Να

βρεθεί η σταθερά c, έτσι ώστε η Τ να είναι α.ε. του σ 2 . Λύση: Πρέπει να ισχύει: E (T ) = σ 2

)

(

2 2  v  v  E (T ) = E c ∑ xi − X  = cE  ∑ xi 2 + X − 2 xi X  =  i =1   i =1  v v v 2 2  v   v  cE  ∑ xi 2 + ∑ X − 2∑ xi X  = cE  ∑ xi 2 + v X − 2 X ∑ xi  = i =1 i =1 i =1  i =1   i =1  v v 2 2 2 2     v cE  ∑ xi 2 + v X − 2 Xv X  = cE  ∑ xi 2 + v X − 2v X  = cE  ∑ xi 2 − v X  =  i =1   i =1   i =1  v v 2  2      c  E  ∑ xi 2  − vE X  = c  ∑ E ( xi 2 ) − vE X  = (1)  i=1    i =1   2  2  v c  ∑ V ( xi ) +  E ( xi )  − v V X  E X   =     i=1  v σ 2  2 2 c  ∑ (σ + µ ) − v  + µ 2   = cvσ 2 + cvµ 2 − cσ 2 − cvµ 2 = cvσ 2 − cσ 2 =  v   i=1 1 c ( v − 1)σ 2 = σ 2 ⇒ c ( v − 1) = 1 ⇒ c = v −1

(

)

( )

{

} {( ) ( )}

Συνέχεια Ασκήσεως Έστω X 1 , X 2 ,..., X v τ.δ. από N ( µ ,σ

) και T = c∑ ( X v

i =1

−X

)

Να βρεθεί η σταθερά c, έτσι ώστε η Τ να είναι α.ε. της παραµέτρου σ 2 . Λύση:

V ( X i ) = E ( X i 2 ) −  E ( X i )  ⇒ E ( X i 2 ) = V ( X i ) +  E ( X i )  2

Ισχύει η λύση της προηγούµενης ασκήσεως, αλλά επί πλέον: X ~ N ( µ ,σ 2 ) ⇒

(x − X )

 σ  i v −1 X ~ N  µ ,  . Από γνωστό θεώρηµα έχουµε: 2 s 2 = ∑ σ2 v  σ i =1  2  1 v  v −1  εποµένως: E (T ) = E  2 s 2  = v − 1 ⇒ E  2 ∑ xi − X  =  σ   σ i =1  v v 2 2 1   E x − X = v − 1 ⇒ E x − X = ( v − 1)σ 2 ⇒ ∑ ∑ i i 2     σ  i =1   i =1  2 1  v E c ∑ xi − X  = c ( v − 1)σ 2 = σ 2 ⇒ c ( v − 1) = 1 ⇒ c = v −1  i =1  2

(

)

(

~ X v2−1 ,

)

Μεροληψία: Ορισµός: Αν µία σ.σ. U = U ( X ) είναι εκτιµήτρια της παραµέτρου θ, ορίζεται ως µεροληψία η ποσότητα b (U ) = E (U ) − θ . Όµοια, αν U = U ( X ) είναι εκτιµήτρια της συναρτήσεως της παραµέτρου θ, g (θ ) , τότε η αµεροληψία είναι b (U ) = E (U ) − g (θ ) Προφανώς ισχύει ότι αν η U είναι αµερόληπτη εκτιµήτρια, τότε b (U ) = 0 . Παράδειγµα: Έστω X 1 , X 2 ,..., X v τ.δ. από f ( x j ;θ1 = µ ,θ 2 = σ 2 ) . Να δειχθεί ότι η Κεντρική Ροπή β΄ τάξεως: M 2 =

α)

(

1 v ∑ Xi − X v i =1

)

δεν εί-

ναι αµερόληπτη εκτιµήτρια της παραµέτρου σ 2 . β) Να βρεθεί το σφάλµα. Λύση: v −1 2 α) Όµοια µε πριν, E ( M 2 ) = σ , άρα η Μ2 δεν είναι α.ε. του σ 2 . v v −1 2  v −1   v −1− v  β) b(M 2 ) = E (M2 ) − σ 2 = σ −σ 2 = σ 2  − 1 = σ 2  = v  v   v  −

σ2 v

Αρνητική (θετική) τιµή µεροληψίας δείχνει ότι η εκτιµήτρια «υποεκτιµά» («υπερεκτιµά») την παράµετρο.

Επάρκεια Μερικές φορές προσπαθούµε να συµπυκνώσουµε όλη την πληροφορία του τυχαίου δείγµατος X σε µία σ.σ. T = T ( X ) . Αν συµβεί αυτό η Τ λέγεται επαρκής. Έστω X 1 , X 2 ,..., X v τ.δ. της ίδιας οικογένειας F { f ( x;θ ) ,θ ∈ Θ} και T = T ( X ) µία σ.σ. του X εκτιµήτρια για την θ . Ορισµός: (για διακριτές τ.µ.) Μία σ.σ. T = T ( X ) ονοµάζεται επαρκής για την παράµετρο θ ∈ Θ , όταν η πιθανότητα P ( X 1 = x1 , X 2 = x2 ,..., X v = xv | T = t ) δεν εξαρτάται από την παράµετρο θ . Παραδείγµατα - Ασκήσεις Κατανοµή Poisson. (διακριτή) Έστω X 1 , X 2 ,..., X v τ.δ. από κατανοµή Poisson(λ) µε σ.π.

( vλ ) , λ > 0 . x

f ( x, λ ) = e

− vλ

Να εξετασθεί (ή να δειχθεί ότι:) αν η σ.σ. T = ∑ X i είναι επαρκής για την παi =1

ράµετρο λ. Λύση: P ( X 1 = x1 , X 2 = x2 ,..., X v = xv | T = t ) = 0 , αν

∑X

≠ t και

i =1

P ( X 1 = x1 , X 2 = x2 ,..., X v = xv | T = t ) = v

∑X

P ( X 1 = x1 , X 2 = x2 ,..., X v = xv ) , αν P (T = t )

=t.

i =1

i) Αριθµητής: P ( X 1 = x1 , X 2 = x2 ,..., X v = xv ) = P ( X 1 = x1 ) P ( X 2 = x2 ) ⋅ ⋅ ⋅ P ( X v = xv ) , διότι τα X 1 , X 2 ,..., X v είναι από τυχαίο δείγµα, άρα ανεξάρτητα.

( vλ )  v  ii) Παρονοµαστής: P (T = t ) = P  ∑ X i  = Poisson ( vλ = t ) = e − vλ t!  i =1  Άρα: P ( X 1 = x1 , X 2 = x2 ,..., X v = xv | T = t ) = P ( X 1 = x1 ) P ( X 2 = x2 ) ⋅ ⋅ ⋅ P ( X v = xv ) = P (T = t )

−λ

λx

x1 !

⋅e

−λ

e− vλ

λx

x2 !

⋅⋅ ⋅ e

( vλ ) t!

−λ

λx

xv !

e − vλ

∑ Xi i =1

∏x !

 v  X i !     i =1 

∑

i =1

e − vλ

( vλ )

v ∑ Xi i =1

= v

∏ x !⋅ v

∑

i =1

v ∑ Xi i =1

⋅λ

v ∑ Xi i =1

  X i !     i =1 

∑

∏ x !⋅ v

, ανεξάρτητο του λ, άρα η Τ

v ∑ Xi i =1

i =1

 v  X i !     i =1 

i =1

είναι επαρκής εκτιµήτρια για την παράµετρο λ. Παρατήρηση: Η επαρκή σ.σ. δεν είναι µοναδική!!! Συνήθως ζητούµε την ελάχιστη επαρκή σ.σ., δηλ. την πιο απλή σ.σ. απ’ όλες τις επαρκείς. Άσκηση- Παράδειγµα: Έστω X 1 , X 2 ,..., X v τ.δ., από κατανοµή Bernoulli (θ ) . v

Να εξετασθεί αν η σ.σ. T = ∑ X i είναι επαρκής για την παράµετρο θ. i =1

Λύση: P ( X 1 = x1 , X 2 = x2 ,..., X v = xv | T = t ) = 0 , αν

∑X

≠ t , διαφορετικά:

i =1

P ( X 1 = x1 , X 2 = x2 ,..., X v = xv ) = P (T = t )

P ( X 1 = x1 , X 2 = x2 ,..., X v = xv | T = t ) =

P ( X 1 = x1 ) ⋅ P ( X 2 = x2 ) ⋅ ⋅ ⋅ P ( X v = xv ) = P (T = t ) v

(1 − θ ) θ (1 − θ ) 1− x1

1− x2

⋅ ⋅ ⋅θ

(1 − θ )

1− xv

v t v −t  t θ (1 − θ )  

∑ xi i =1

1− x (1 − θ )∑ ( i ) i =1

v t v −t  t θ (1 − θ )  

∑ xi i =1

(1 − θ )

v−

∑ xi i =1

−1

v =   , δηλαδή η Τ είναι ανεξάρτητη από την παράµετρο θ, t 

v t v −t  t θ (1 − θ )   άρα είναι επαρκής.

v v     Ερώτηση: Είναι οι α) T =  X 1 , ∑ X i  και β) T =  X 1 , X 2 , ∑ X i  επαρκείς; i =2 i =3     Απάντηση: Από πρώτη όψη οι δύο σ.σ. διαθέτουν όλες τις πληροφορίες του δείγµατος και οι µεταβλητές τους είναι ανεξάρτητες, άρα φαινοµενικά είναι επαρκείς.

Επιβεβαίωση: v   α) T =  X 1, ∑ X i  i =2   T = t ⇒ T1 = t1 και T2 = t2 ⇒ X 1 = t1 και

∑X

= t2

i =2

v   P ( X = x | T = t ) = P  X 1 = x1 , X 2 = x2 ,..., X v = xv | X 1 = t1 , ∑ X i = t2  = i =2   P ( X 1 = x1 , X 2 = x2 ,..., X v = xv ) P ( X 1 = x1 , X 2 = x2 ,..., X v = xv ) = = v   P (T = t ) P  X 1 = t1 , ∑ X i = t2  i =2   P ( X 1 = x1 ) P ( X 2 = x2 ) ⋅ ⋅ ⋅ P ( X v = xv ) =  v  P ( X 1 = t1 ) ⋅ P  ∑ X i = t2   i =2  1− x1 x 1− x2 1− x 1− x 1− x x x1 θ (1 − θ ) θ 2 (1 − θ ) ⋅ ⋅ ⋅ θ v (1 − θ ) v θ x2 ⋅ ⋅ ⋅ θ xv ⋅ (1 − θ ) 2 ⋅ ⋅ ⋅ (1 − θ ) v = = v − 1 v − 1     1 − t v − 1 − t v − 1 − t θ t1 (1 − θ ) 1 ⋅  θ t2 (1 − θ ) 2 θ t2 (1 − θ ) 2     t2   t2 

θ x ⋅ ⋅ ⋅ θ x ⋅ (1 − θ ) 2

1− x2

⋅ ⋅ ⋅ (1 − θ )

1− xv

 v − 1  t2 v −1−t2 t θ (1 − θ )  2  v

∑ Xi i=2

(1 − θ )

v −1−

∑ Xi i =2

−1

 v − 1 =   , δηλαδή η Τ είναι ανεξάρτητη από την παράt  2 

 v − 1  t2 v −1−t2 t θ (1 − θ )  2  µετρο θ, άρα είναι επαρκής. β) Όµοια απόδειξη.

Άσκηση- Παράδειγµα: Έστω X 1 , X 2 , X 3 τ.δ., από κατανοµή Bernoulli (θ ) . Να εξετασθεί αν η σ.σ. T = X 1 + 2 X 2 + X 3 είναι επαρκής για την παράµετρο θ. Λύση: P ( X 1 = x1 , X 2 = x2 , X 3 = x3 ) = P ( X 1 = x1 , X 2 = x2 , X 3 = x3 | T = t ) = P (T = t ) P ( X 1 = x1 ) ⋅ P ( X 2 = x2 ) ⋅ P ( X 3 = x3 ) . P (T = t ) Αν και η τ.µ. ανήκει στις διακριτές, εν τούτοις διαπιστώνουµε ότι δεν µπορούµε πάντοτε να υπολογίσουµε την παραπάνω πιθανότητα. Για την επίλυση του προβλήµατος, χρησιµοποιούµε το παρακάτω αντιπαράδειγµα: 15

* Άλλος τρόπος (µε αντιπαράδειγµα): Για X 1 = 1, X 2 = 0, X 3 = 1 P ( X 1 = 1) ⋅ P ( X 2 = 0 ) ⋅ P ( X 3 = 1) = P (T = 2 ) P ( X 1 = 1) ⋅ P ( X 2 = 0 ) ⋅ P ( X 3 = 1) = P ( X 1 = 1) ⋅ P ( X 2 = 0 ) ⋅ P ( X 3 = 1) + P ( X 1 = 0 ) ⋅ P ( X 2 = 1) ⋅ P ( X 3 = 0 )

θ 1 (1 − θ ) θ 0 (1 − θ ) θ 1 (1 − θ ) 1−1

1−0

1−1

θ 1 (1 − θ ) θ 0 (1 − θ ) θ 1 (1 − θ ) + θ 0 (1 − θ ) θ 1 (1 − θ ) θ 0 (1 − θ ) 1−1

1−0

1−1

1−0

θ 1 (1 − θ ) θ 1

1−1

1−0

θ 2 (1 − θ )

1−0

= =

θ + (1 − θ ) θ 1 (1 − θ ) θ 1 + (1 − θ ) θ 1 (1 − θ ) θ 2 (1 − θ ) + θ (1 − θ ) θ = θ δηλαδή η Τ εξαρτάται από την παράµετρο θ, άρα η Τ δεν είναι εθ +1−θ 1−0

1−0

παρκής. Παρατηρούµε ότι: 1) Ο ορισµός της επάρκειας δεν βοηθάει πάντα στην επιλογή της Τ. 2) Αν έχουµε την Τ, µερικές φορές έχουµε δυσκολίες στην εύρεση της σ. π. της Τ. Για την άρση των εµποδίων αυτών, χρησιµοποιούµε το παρακάτω κριτήριο:

Παραγοντικό Κριτήριο Neyman Έστω X = ( X 1 , X 2 ,..., X v ) τ.δ., από µία κατανοµή µε σ.π. f ( x;θ ) , διακριτή ή συνεχής, µε θ = (θ1 ,θ 2 ,...,θ s ) . Η σ.σ. T ( X ) = (T1 ( X ) , T2 ( X ) ,..., Tk ( X ) ) είναι επαρκής για την παράµετρο θ , αν και µόνο αν µπορούν να βρεθούν δύο µη αρνητικές συναρτήσεις g ( ⋅) και h ( ⋅) τέτοιες ώστε η από κοινού σ.π. (ή σ.π.π.) του X να µπορεί να γραφεί στη µορφή: f ( x;θ ) = g (T ( X ) ,θ ) ⋅ h ( X ) * Η g εξαρτάται από τ.δ. µόνο µέσω της σ.σ. Τ, ενώ η h είναι συνάρτηση µόνο του τ.δ. (ανεξάρτητη της παραµέτρου.

Απόδειξη: Για διακριτή περίπτωση και για v = 1, s = 1 , κ=1. f ( x;θ ) = g (T ( X ) ,θ ) ⋅ h ( X ) P( X = x |T = t) =

P (T = t ) = g ( t ,θ )

P( X = x) ⇒ P (T = t )

∑ P ( X = x ) = ∑ f ( x,θ ) = ∑ g (T ( X ) ;θ ) h ( X ) =

T ( X ) =t

∑ h ( X ) ⇒ g ( t ,θ ) ∑ h ( X ) ⇒ P ( X = x | T = t ) =

T ( X ) =t

g (T ( X ) ;θ ) h ( X ) g ( t ,θ )

T ( X ) =t

∑ h( X )

T ( X ) =t

h( X ) ανεξάρτητο του θ, άρα η Τ(Χ) είναι επαρκής h X ( ) ∑

T ( X ) =t

για το θ. Αντίστροφα: Έστω T ( X ) σ.σ., επαρκής εκτιµήτρια για το θ. f ( x;θ ) = P ( X = x ) = P ( X = x | T = t ) P (T = t ) , άρα

f ( x;θ ) = g (T ( X ) ,θ ) ⋅ h ( X ) , για h ( X ) = P ( X = x | T = t ) , καθ’ όσον η

P ( X = x | T = t ) είναι ανεξάρτηση του θ, µια και η Τ(Χ) είναι επαρκής, και g ( T ( X ) ,θ ) = P ( T = t ) .

Παράδειγµα Έστω X 1 , X 2 ,..., X v τ.δ. ~ Poisson ( λ ) . Να βρεθεί ε.σ.σ. για το λ. Λύση: Η από κοινού πιθανότητα του δείγµατος είναι:

∏ e− λ

f ( X ; λ ) = ∏ f ( x; λ ) =

i =1

λx

xi !

= e − vλ

∑ Xi i =1

= g (T ( X ) , λ ) ⋅ h ( X ) , µε

∏x ! i

i =1

g (T ( X ) , λ ) = e

− vλ

∑ Xi

και h ( X ) =

i =1

1 v

∏x !

, άρα η T ( X ) = ∑ X i i =1

i =1

Ερώτηση: Είναι η T = X =

1 n ∑ X i επαρκής σ.σ.; n i=1

Απάντηση: 1 n T = X = ∑ Xi ⇒ n i =1

∑X

= n X , εποµένως από την προηγούµενη άσκηση η

i =1

∑ Xi

g (T ( X ) , λ ) γίνεται: g (T ( X ) , λ ) = e− vλ λ i =1

= e − vλ λ n X , άρα η Τ είναι ε.σ.σ.

Παράδειγµα Έστω X 1 , X 2 ,..., X v τ.δ. από κατανοµή µε σ.π.π.: f ( x;θ ) = θ xθ −1 ,0 < x < 1,θ > 0 . Να βρεθεί ε.σ.σ. για το θ. Λύση: θ −1

i =1

f ( X ;θ ) = ∏ f ( xi ;θ ) = ∏θ xi

θ −1

 v  = θ  ∏ xi   i =1 

= g (T ( X ) ,θ ) ⋅ h ( X ) , µε

θ −1

 v  g (T ( X ) ,θ ) = θ  ∏ xi   i =1 

και h ( X ) = 1 ,

άρα η T ( X ) = ∏ xi είναι ε.σ.σ. για το θ. i =1

Παράδειγµα Έστω X 1 , X 2 ,..., X v τ.δ. ~ N ( µ ,σ 2 ) , µε µ=1.

Να βρεθεί µία επαρκής σ.σ. για το θ = ( µ ,σ 2 ) . Λύση: f ( X ;σ v 2

)= ∏ f (X ,X

( 2π ) (σ −

i =1

v 2 −2

)

,..., X v ;1,σ

)= ∏ i =1

 ( xi − 1)2  exp − = 2 2 2 σ 2πσ   1

 1 v 2 exp − 2 ∑ ( xi − 1)  = g (T ( X ) ,σ 2 ) ⋅ h ( X ) , µε:  2σ i =1 

h ( X ) = ( 2π ) v

−

v 2

και g (T ( X ) ,σ

v 2 −2

) = (σ )

 1 v 2 exp − 2 ∑ ( xi − 1)  , οπότε  2σ i =1 

T ( X ) = ∑ ( xi − 1) είναι επαρκής σ.σ. για το σ 2 . 2

i =1

Παράδειγµα Έστω X 1 , X 2 ,..., X v τ.δ. ~ N ( µ ,1) να βρεθεί οµοίως η επαρκής σ.σ.  ( xi − µ )2  1 f ( X ; µ ) = ∏ f ( xi ;θ ) = ∏ exp − = 2 2π i =1 i =1   v v 1 − ( 2π ) 2 ∏ exp − ( xi 2 − 2 xi µ + µ 2 )  = *  2  i =1 v v  1  1 v   − ( 2π ) 2 exp − ∑ xi 2  exp −  vµ 2 − 2µ ∑ xi   = g (T ( X ) ,θ ) ⋅ h ( X ) µε i =1  2 i =1    2 v

v v  vµ 2   1 v 2 − 2 g (T ( X ) ,θ ) = exp − + µ ∑ xi  και h ( X ) = ( 2π ) exp − ∑ xi  , 2 i =1  2 i =1    v

οπότε η T ( X ) = ∑ xi είναι επαρκής σ.σ. για το µ. i =1

Επίσης: v 2  1 v − *= ( 2π ) 2 exp − ∑ xi − X + X − µ  =  2 i =1  v v 2 2  1 − ( 2π ) 2 exp − ∑  xi − X + X − µ + 2 xi − X  2 i =1 

(

)

(

 1 v ( 2π ) exp − ∑ xi − X  2 i =1 v  1 v − 2 ( 2π ) exp − ∑ xi − X  2 i =1 −

v 2

) (

)

(

)

(

) ∑ ( x − X ) =

(

)

(

)  exp − 2v ( X − µ )  = g (T ( X ) ,θ ) ⋅ h ( X ) µε

v − X −µ 2

(

)( X − µ )  =

1 − 2 X −µ 2

i =1

v 2 2  1 v −  v g (T ( X ) ,θ ) = exp − X − µ  και h ( X ) = ( 2π ) 2 exp − ∑ xi − X  ,  2   2 i =1  άρα T = X είναι επαρκής σ.σ. για το µ.

(

)

Παράδειγµα Έστω X 1 , X 2 ,..., X v τ.δ. ~ N ( µ ,σ 2 ) . Να βρεθεί µία επαρκής σ.σ. για το

θ = ( µ ,σ 2 ) .

)

f ( X ; µ ,σ

)= ∏ f (X ,X 1

,..., X v ; µ ,σ

i =1

 ( xi − µ )2  exp − =* 2 2 σ 2πσ 2  

)= ∏

i =1

 1 v 2 ( 2π ) (σ ) exp − 2 ∑ ( xi − µ )  =  2σ i =1  v v −  1 v  − ( 2π ) 2 (σ 2 ) 2 exp − 2 ∑ ( xi 2 − 2 xi µ + µ 2 ) =  2σ i =1  −

v 2 −2

v 2

v v  v 2  2 x µ 2 µ x v ∑ ∑ ∑ i i   v − − ( 2π ) 2 (σ 2 ) 2 exp − i=1 2 − i=1 2 + i=1 2  = 2σ 2σ   2σ   v  v 2  x µ x v ∑ ∑ 2 i i v   − vµ − ( 2π ) 2 (σ 2 ) 2 exp − i=1 2 − 2 + i=12  = g (T ( X ) ,θ ) ⋅ h ( X ) , µε 2σ σ   2σ   v v   2 xi µ ∑ xi  v ∑ 2  v − vµ −   g (T ( X ) ,θ ) = (σ 2 ) 2 exp − i =1 2 − 2 + i =12  και h ( X ) = ( 2π ) 2 , οπότε η 2σ σ   2σ   v  v  T ( X ) =  ∑ xi , ∑ xi2  είναι επαρκής για το ( µ ,σ 2 ) .  i =1 i =1 

Επίσης v  ( xi − µ )2  2  1 v 2 −2 *∏ exp − = = 2 πσ exp − x − X + X − µ ( )   = ∑ i 2 2 2 2 2 σ σ i =1 i =1   2πσ   v v 2 2  1 v   − 2 −2 2 ( 2π ) (σ ) exp − 2 ∑  xi − X + X − µ + 2 xi − X X − µ   =   2σ i =1  v

(

 v v v  ∑ xi − X − 2 −2 ( 2π ) 2 (σ ) exp − i=1 2 2σ    v v v  ∑ xi − X − 2 −2 ( 2π ) 2 (σ ) exp − i=1 2 2σ   2  v  T ( X ) =  ∑ xi − X , X  .  i =1 

(

) (

) )

−

(

v X −µ

)

(

)(

−

1 2σ 2

(

2 X −µ

 v X − µ  −  , οπότε: 2σ 2  

)

2σ 2

(

)

)∑( v

i =1

  xi − X  =  

)

Παράδειγµα Έστω X 1 , X 2 ,..., X v τ.δ. ~ Ε.Ο.Κ. Υπάρχει επαρκής σ.σ. και ποια είναι; X j ~ EOK , j = 1, 2,..., v , θ = (θ1 ,θ 2 ,...,θ s )  s  f x j ( X ;θ ) = β (θ ) exp ∑ηi (θ ) Ti ( x j )  h ( x j ) ⇒  i =1  v v  s  f X ( x j ;θ ) = ∏ f ( x j ;θ ) = ∏ β (θ ) exp ∑ηi (θ ) Ti ( x j )  h ( x j ) =  i =1  j =1 j =1 v v s v    β (θ )  exp ∑ ∑ηi (θ ) Ti ( x j ) ∏ h ( x j ) = j =1  i =1  j =1  s  β * (θ ) exp ∑ηi (θ ) Ti* ( X )  h* ( x j ) , άρα υπάρχει επαρκής σ.σ. και είναι η  i =1  * * * T ( X ) = (T1 ( X ) , T2 ( X ) ,..., Ts* ( X ) ) .

Θεώρηµα Έστω ψ : ℝ k → ℝ k και ω : ℝ s → ℝ s , ψ , ω συναρτήσεις «1-1», ώστε να υπάρχουν οι ψ −1 , ω −1 . Αν η σ.σ. T είναι επαρκής για τη θ . Τότε: i) H T1 = ψ (T ) είναι επαρκής για το θ . ii)

Η T είναι επαρκής για θ1 = ω (θ ) .

Απόδειξη: T είναι επαρκής για θ

(

( ))

(

)

f x j ( X ;θ ) = g (T ( x ) ,θ ) ⋅ h ( x ) = g T ( x ) , ω −1 θ1 ⋅ h ( x ) = g 2 T ( x ) ,θ1 ⋅ h ( x ) ⇒ T ( x ) επαρκής για θ1 . f , g : ℝk × ℝk → ℝ

(

)

f ( x;θ ) = g (T ( x ) ,θ ) ⋅ h ( x ) = g ψ −1 (T1 ( x ) ) ,θ ⋅ h ( x ) = g1 (T1 ( x ) ,θ ) ⋅ h ( x ) . Ε-

ποµένως η T1 ( X ) = ψ (T ( X ) ) είναι επαρκής σ.σ. για το θ . v

T = ∑ Xi ⇒ X = i =1

∑X i =1

= T1

Παράδειγµα: Έστω X 1 , X 2 ,..., X v τ.δ. από X ~ U ( 0,θ ) . Αναζητούµε επαρκή σ.σ. για το θ. 1 1, x ∈ ( 0,θ ) 1  ,0 < x < θ = ⋅ I ( 0 < x < θ ) , όπου: I ( 0 < x < θ ) =  . f ( x ) = θ θ 0, αλλο ύ  0,αλλο ύ 21

v 1 v 1  f ( x,θ ) = ∏  ⋅ I ( 0 < x < θ )  = v ∏ I ( 0 < xi < θ )  θ i =1 i =1  θ v

Πρέπει

∏ I ( 0 < x < θ ) = 1 , αλλιώς f ( x,θ ) = 0 . i

i =1

Ζητούµε I ( 0 < xi < θ ) = 1, ∀i = 1, 2,..., v

 xi ∈ ( 0,θ )  Βάζουµε τα X i στη σειρά: X (1) ≤ X ( 2) ≤ ... ≤ X ( v ) , έτσι ώστε: X (1) = min X i και X ( v ) = max X i

(

) ( ) f ( x ,θ ) = θ I ( 0 < X ( ) < ∞ ) ⋅ I ( 0 < X ( ) < θ ) h( X ) = I (0 < X ( ) < ∞) g ( T ( x ) ,θ ) = θ ⋅ I ( 0 < X ( ) < θ )

Συνεπώς: I 0 < X (1) < ∞ ⋅ I 0 < X ( v ) < θ = 1 ⇒ −v

−v

Άρα η T ( X ) = X ( v ) είναι επαρκής σ.σ. για το θ. Παράδειγµα Έστω X 1 , X 2 ,..., X v τ.δ. από X ~ U (θ1 ,θ 2 ) , θ = (θ1 ,θ 2 ) . 1 f ( x;θ1 ,θ 2 ) = ⋅ I (θ1 < x < θ 2 ) . θ 2 − θ1 v  1  1 f ( X ;θ1 ,θ 2 ) = ∏  ⋅ I (θ1 < x < θ 2 )  = I θ < x < θ2 ) v ∏ ( 1 i =1  θ 2 − θ1  (θ 2 − θ1 ) i =1 v

Πρέπει

∏ I (θ

< x < θ 2 ) = 1, αλλιώς f ( x,θ ) = 0 .

i =1

Ζητούµε I (θ1 < x < θ 2 ) = 1, ∀i = 1, 2,..., v X (1) = min X i , X ( v ) = max X i

(

) (

xi ∈ (θ1 ,θ 2 )

)

Συνεπώς: I θ1 < X (1) < ∞ ⋅ I 0 < X ( v ) < θ 2 = 1

(

) (

και f ( X ;θ1 ,θ 2 ) = (θ 2 − θ1 ) I θ1 < X (1) < ∞ ⋅ I 0 < X ( v ) < θ 2 −v

(

) (

)

Άρα h ( X ) = 1 , g (T ( x ) ,θ ) = (θ 2 − θ1 ) I θ1 < X (1) < ∞ ⋅ I 0 < X ( v ) < θ 2 −v

(

T ( X ) = X (1) , X ( v )

)

Παράδειγµα: v

Εάν η σ.σ. T = ∑ xi είναι επαρκής για το θ, τότε: i =1

∑x

η σ.σ. X =

i =1

T είναι επίσης επαρκής για το θ. v 22

)

η Τ επαρκής για το θ3, 2θ, κθ, lnθ, eθ, …

ii)

• Το X δεν είναι απαραίτητα επαρκής για το θ, επειδή δεν είναι 1-1, µπορεί και να είναι, αλλά αυτό το θεώρηµα δεν µας βοηθάει. • Αν η Χ έπαιρνε µόνο θετικές τιµές, τότε θα ήταν επαρκής. • Επίσης η Τ δεν ξέρουµε αν είναι επαρκής για το θ2.

Εξέταση Επάρκειας: 1) Ορισµός 2) Το Παραγοντικό κριτήριο είναι ευρείας χρήσεως. Ε.Ο.Κ. είναι η πιο εύκολη περίπτωση 3) Υπάρχει ένα µικρό πρόβληµα, αν το στήριγµα της τ.µ. Χ εξαρτάται από το θ. Παράδειγµα: Έστω X 1 , X 2 ,..., X v τ.δ. από U ( 0,θ ) . Να βρεθεί επαρκής σ.σ. για το θ. 1 Αν X ~ U ( a, β ) , τότε f ( x ) = , a < x < β και στην περίπτωσή µας β −a 1 f ( x ) = ,0 < x < θ

 1 ,a < x < β 1,αν a < x < β .  I (a < x < β ) =  f ( x) =  β − a 0,αλλο ύ. 0αλλο ύ.  Η I ( a < x < θ ) λέγεται δείκτρια συνάρτηση.

∆ηλαδή, χρησιµοποιώντας δείκτριες συναρτήσεις: f X ( x ) = Συνεπώς, X ~ U ( 0,θ ) , f X ( x ) =

1 ⋅ I (a < x < β ) β −a

⋅ I (0 < x < θ )

1,αν a < x < θ . I (0 < x < θ ) =  0,αλλο ύ. v v 1 Η από κοινού σ.π.π. του τ.δ. είναι: f ( x;θ ) = ∏ f ( xi ;θ ) = ∏ ⋅ I ( 0 < xi < θ ) = i =1

θv

i =1

∏ I ( 0 < x < θ ) (*) i

i =1

Για να είναι το γινόµενο

∏ I ( 0 < x < θ ) = 1 , θα πρέπει να ισχύει 0 < x < θ i

για

i =1

όλα τα i = 1,2,..., v . X (1) , X ( 2) ,..., X ( v ) : διατεταγµένες παρατηρήσεις /σ.σ./ διατεταγµένα στατιστικά X (1) = min { xi } , X ( v ) = max { xi } 23

) ( ) 1 και έτσι (*) ⋅ I ( 0 < x( ) < ∞ ) ⋅ I ( 0 < x( ) < θ ) = h ( X ) ⋅ g T ( X ) = X ( ) ,θ    θ v

Άρα

∏ I (0 < x < θ ) = 1 ⇔ i

i =1

(

I 0 < x(1) < ∞ ⋅ I 0 < x( v ) < θ = 1

Ισχύει το παραγοντικό κριτήριο

ΠΛΗΡΟΤΗΤΑ (Completeness) Έστω X 1 , X 2 ,..., X v τ.δ. από κατανοµή µε ~ f ( x,θ ) . Έστω ότι η Τ είναι επαρ-

κής σ.σ. για θ µε συνάρτηση π.π. hT ( t ,θ ) και έστω ότι {h ( t ;θ ) ,θ ∈ Θ} η οικογένεια κατανοµών της µορφής αυτής. Ας υποθέσουµε ότι g (T ) µια συνάρτηση της επαρκούς T ( X ) . Εάν η συνθήκη E  g (T )  = 0, ∀θ ∈ Θ , συνεπάγεται ότι g ( t ) = 0, ∀t , εκτός πιθανώς από ορισµέ-

να σηµεία, που αποτελούν ένα σύνολο N 0 , µηδενικού µέτρου ( P (T ∈ N 0 ) = 0 ) , τότε η Τ καλείται πλήρης και επαρκής σ.σ. για το θ. Επίσης πλήρης θα καλείται και η οικογένεια κατανοµών. ∑ g ( t ) ⋅ h ( t ,θ ) = 0 ⇒ g ( t ) = 0 , για διακριτή τ.µ. και t

∫ g ( t ) ⋅ h ( t ,θ ) dθ = 0 ⇒ g ( t ) = 0 , για συνεχή τ.µ. t

{

}

Αν η τ.µ. Υ µε σ.κ. fY ( y,θ ) η οικογένεια κατανοµών F = fY ( y,θ ) ;θ ∈ Θ καλείται πλήρης, εάν για κάθε συνάρτηση g : ℝ k → ℝ , E  g (Y )  = 0, ∀θ ∈ Θ s συνεπάγεται g (Y ) = 0, ∀y ∈ ℝ k − N 0

Παραδείγµατα Έστω X 1 , X 2 ,..., X v τ.δ. ~ Poisson (θ ) . Να βρεθεί επαρκής και πλήρης σ.σ. Λύση: v

∆είχθηκε ότι η T = ∑ X i είναι επαρκής σ.σ. για το θ. i =1

T ~ Poisson ( vθ ) και έστω µία g (T )

∞

∑ g (t )

( vθ ) ⋅ t!

t =0

g ( 0)

( vθ ) 0!

( vθ ) ⋅

∞

t =0

∑ g ( t ) ⋅ h ( t ,θ ) = ∑ g ( t ) ⋅ e

E  g (T )  = 0 ⇒ − vθ

∞

=0⇒

( vθ ) ⋅

+ g (1)

+ g ( 2)

( vθ )

( vθ ) ≠ 0,

− vθ

≠ 0 και γενικά

( vθ ) ⋅ 2!

( vθ ) t!

+ g ( 3)

( vθ ) ⋅ 3!

+ ... = 0 και, αφού

≠ 0, ∀t έπεται ότι g ( t ) = 0, ∀t .

Άρα η T = ∑ X i είναι και πλήρης! i =1

σχέση

Σύνδεση πληρότητας και επάρκειας Αν µια σ.σ. Τ είναι επαρκής και πλήρης και ταυτοχρόνως α.ε. για µια παράµετρο θ, τότε είναι και αµερόληπτη εκτιµήτρια ελάχιστης διασποράς (α.ε.ε.δ.) για το θ. Γενικός Ορισµός Πληρότητας. Η τ.µ. Y µε συνάρτηση κατανοµής fY ( y,θ ) ή η οικογένεια κατανοµών F = { fY ( y,θ ) ,θ ∈ Θ} καλείται πλήρης, αν ∀g : ℝ k → ℝ , η σχέση E  g (Y )  = 0 συνεπάγεται τη σχέση g (Y ) = 0, ∀y ∈ ℝ k − N 0 , όπου P (Y ∈ N 0 ) = 0, ∀θ ∈ Θ

Άσκηση Έστω X 1 , X 2 ,..., X v τ.δ., από κατανοµή Bernoulli (p). Να βρεθεί επαρκής και πλήρης σ.σ. για το p. Λύση: (2) v

Επάρκεια:

∆είχτηκε ότι T = ∑ X i είναι επαρκής σ.σ. για το p. i =1

Πληρότητα: Άθροισµα Bernoulli είναι διωνυµική T ~ Binomial ( v, p ) v v −t hT ( t , p ) =   p t (1 − p ) t  Έστω ότι υπάρχει συνάρτηση g ( t ) : E  g ( t )  = 0 E  g ( t )  =

v t v −t g t ( ) ∑  t  p (1 − p ) = t =0   t v  v  p  v = (1 − p ) ∑ g ( t )    =0 ⇒ t − 1 p t =0   

∑ g ( t ) hT ( t , p ) = t =0

 v  p  v g ( t )   (1 − p ) ∑  t =0  t  1 − p  t v  v  p  g ( t )   ∑  =0 ⇒ t − 1 p t =0    0 1 v  v  p   v  p   v  p  g ( 0)     + g (1) 1    + ... + g ( v )  v    =0⇒  0 1− p    1 − p    1 − p  g ( 0 ) = g (1) = ... = g ( v ) = 0 ⇒ g ( t ) = 0, ∀t , άρα η Τ είναι και πλήρης. v

Άσκηση Να εξετασθεί εάν η οικογένεια F = { f ( x;θ ) ,θ ∈ Θ} είναι πλήρης ή όχι, στις ακόλουθες περιπτώσεις:

Για να επιλύσουµε ασκήσεις αυτού του τύπου, ακολουθούµε την εξής διαδικασία: α) βρίσκουµε επαρκή σ.σ. (Τ), κυρίως µε το παραγοντικό κριτήριο Neyman, β) βρίσκουµε απαραίτητα την κατανοµή της Τ (σ.π. ή σ.π.π.). γ) ελέγχουµε την πληρότητα της Τ.

1 I ( a < x < θ ) , για a ∈ ℝ, a < x < θ ,θ ∈ ( a, +∞ ) . θ −a 1 f ( x;θ ) = I (θ < x < β ) , για θ < x < β , β ∈ ℝ β −θ 1 f ( x;θ ) = I ( −θ < x < θ ) , για −θ < x < θ ,θ ∈ ℝ . 2θ f ( x;θ ) =

i) ii) iii)

Λύση: i) E  g ( x )  = 0 ⇒ θ

1 1 E  g ( x )  = ∫ g ( x ) dx =0, ∀θ ⇒ g ( x ) dx =0 ⇒ (3) ∫ g ( x ) dx =0, ∀x ∫ θ −a θ −a a a a 4 Παραγωγίζουµε ως προς θ ( ): θ ∂ g ( x ) dx =0 ⇒ g (θ ) = 0, ∀θ ⇒ g ( x ) = 0, ∀x ∈ ( a,θ ) άρα η ∂θ ∫a 1 f ( x;θ ) = I ( a < x < θ ) είναι πλήρης. θ −a ii) E  g ( x )  = 0 ⇒ β

1 1 E  g ( x )  = ∫ g ( x ) dx = g ( x ) dx =0 ⇒ ∫ β − θ β − θ θ θ θ

∫θ g ( x ) dx =0 ⇒

d − ∫ g ( x ) dx =0 ⇒ ∫ g ( x ) dx =0 ⇒ g ( x ) dx =0 ⇒ g (θ ) = 0, ∀θ < β ⇒ ∫ d θ β β β g ( x ) = 0, ∀x ∈ ( β ,θ ) άρα η f ( x;θ ) =

1 I (θ < x < β ) είναι πλήρης. β −θ

Αντιπαράδειγµα: Έστω g ( x ) = x ⇒ E  g ( x )  = E ( x ) =

iii)

∫

−θ

1 dx = 2θ

1  x2  ∫−θ xdx = 2θ  2  = 0 , αλλά αυτό δεν συνεπάγεται ότι g ( x ) = x ≡ 0! άρα η −θ 1 f ( x;θ ) = I ( −θ < x < θ ) , για −θ < x < θ ,θ ∈ ℝ , δεν είναι πλήρης. 2θ

1 2θ

Καθ’ όσον

θ −a

≠0

Εφαρµόζουµε το Θεµελιώδες Θεώρηµα του Απειροστικού Λογισµού: Αν f συνεχής σε διάστηµα ∆ και α είναι επίσης σηµείο του ∆, τότε η συνάρτηση x

F ( x ) = ∫ f ( t ) dt , x ∈ ∆ είναι µία παράγουσα της f στο ∆ και ισχύει a

d F ( x) = f ( x) dx

Άσκηση (SOS) Αν X 1 , X 2 ,..., X v τ.δ., από οµοιόµορφη κατανοµή ( 0,θ ) , να βρεθεί επαρκής και πλήρης σ.σ. για το θ. Λύση: Επάρκεια v 1 f ( X ;θ ) = f ( X 1 , X 2 ,..., X v ,θ ) = ∏ I ( 0 < X i < θ ) = (5 ) i =1 θ − 0

−v

∏ I (0 < X i =1

(

)

< θ ) = I ( 0 < X i < θ ) = 1, ∀i = 1,..., v ⇒ I 0 < X ( v ) < θ = 1 ⇒

(

)

f ( X ;θ ) = θ − v I 0 < X ( v ) < θ , οπότε T ( X ) = X ( v )

Πληρότητα Ζητούµε τη σ.π.π. της Τ. Μπορούµε να την υπολογίσουµε µέσω της αθροιστικής της Τ:

(

)

FT ( t ) = P (T ≤ t ) = P X ( v ) ≤ t = P ( X 1 , X 2 ,..., X v ≤ t ) = P ( X 1 ≤ t ) P ( X 2 ≤ t ) ...P ( X v ≤ t ) =

∏ P( Xi ≤ t ) = i =1

f X (t ) =

∏ FX i ( t ) =  FX ( t )

i =1

1 1 t , t ∈ ( 0,θ ) ⇒ FX ( t ) = ∫ dx = ( t − 0 ) = , άρα 0

t FT ( t ) =  FX ( t )  =   , και θ  v dF ( t ) dt − v v −1 fT ( t ) = =   = θ vt dt  θ  dt v

E  g ( t )  =

∫ g ( t )θ 0

θ −v

v −1

vt dt = vθ

−v

∫ g (t ) t

v −1

dt = 0

Παραγωγίζουµε ως προς θ: g (θ )θ v −1 = 0 ⇒ g (θ ) = 0, ∀θ > 0 ⇒ g ( t ) = 0, ∀0 < t < θ , άρα η T ( X ) = X ( v ) είναι και πλήρης. Άσκηση Έστω X 1 , X 2 ,..., X v τ.δ., από κατανοµή µε σ.π.π. f ( x;θ ) = Να δειχθεί ότι η T = X (1) , X (1) = min { X 1 , X 2 ,..., X v }

,θ > 0, x > θ x2 είναι επαρκής και πλήρης

σ.σ. για το θ. Απόδειξη: Από το παραγοντικό κριτήριο Neyman, έχουµε: 5

Όταν το στήριγµα (πεδίο ορισµού) της σ.π. (ή σ.π.π.) εξαρτάται από την παράµετρο, εισάγουµε στην από κοινού πιθανότητα του κριτηρίου Neyman και τη δείκτρια συνάρτηση.

f ( X ,θ ) = f ( X 1 , X 2 ,..., X v ,θ ) =

θ ∏ x I (θ < x < ∞ ) =

∏ f ( xi ,θ ) = i =1

θv

i =1

∏ xi

∏ I (θ < x < ∞ ) i

2 i =1

i =1

Πρέπει να ισχύει:

∏ I (θ < x < ∞ ) = 1 ⇒ I (θ < x < ∞ ) = 1, ∀x ⇒ i

i =1

θ < xi < ∞, ∀xi ⇒ θ < x(1) και θv

−1

 v 2 f ( X ,θ ) = v I θ < x(1) < ∞ = h ( X ) g T ( X ) ,θ  , µε h ( X ) =  ∏ xi  και 2  i =1  ∏ xi i =1

(

)

(

)

g T ( X ) ,θ  = θ v I θ < X (1) < ∞ , άρα η T = X (1) είναι επαρκής.

Βρίσκουµε την κατανοµή της T = X (1) : Παίρνουµε την αθροιστική της Τ:

(

)

(

)

FT ( t ) = FX (1) ( t ) = P (T ≤ t ) = P X (1) ≤ t = 1 − P X (1) > t = v

1 − P ( X 1 , X 2 ,..., X v > t ) = 1 − P ( X 1 > t ) P ( X 2 ) ⋅ ⋅ ⋅ P ( X v > t ) = 1 − ∏ P ( X i > t ) = i =1

1 − ∏ 1 − P ( X i ≤ t )  = 1 − ∏ 1 − FX ( t )  = 1 − 1 − FX ( t )  i =1

i =1

FX ( t ) = P ( x ≤ t ) =

−1 −2 −1 −1 ∫θ x 2 dx = θ θ∫ x dx = θ − x θ = θ −t + θ  = 1 − t v

  θ  θv θ  Άρα FT ( t ) = 1 − 1 − 1 −   = 1 −   = 1 − v t  t t   d d  θv  vθ v v − v −1 FX ( t ) = = v +1 fT ( t ) = f X (1) ( t ) = 1 − v  = −θ ( −v ) t dt (1) dt  t  t

Για να είναι η Τ πλήρης, θα πρέπει αν για κάθε g ( t ) : E  g ( t )  = 0 ⇒ g ( t ) = 0 ∞

∞

vθ v Έστω E  g ( t )  = 0 ⇒ ∫ g ( t ) fT ( t ) dt = 0 ⇒ ∫ g ( t ) v+1 dt = 0 ⇒ t θ θ ∞

vθ ∂

∫θ g ( t ) t

∫ g (t ) t

−( v +1)

∞

dt = 0 ⇒

∫θ g ( t ) t

dt = 0 ⇒ g (θ )θ

−( v +1)

∂

dt = 0 ⇒ − ∫ g ( t ) t

−( v +1)

dt = 0 ⇒

∞

= 0, ∀θ > 0 ⇒ g ( t ) = 0, ∀t > θ , άρα η T = X (1)

∞

είναι και πλήρης.

Παρατηρήσεις Επειδή θα χρειαστούµε να βρίσκουµε την κατανοµή της επαρκούς Τ και, επειδή v

συνηθέστερη επαρκής είναι η T ( X ) = ∑ X i , είναι χρήσιµο να παρατεθεί εδώ i =1

µία κατάσταση αντιστοιχίας από συνηθισµένες κατανοµές και X i προς τις v

T ( X ) = ∑ Xi . i =1

η T = ∑ X i ~ Γ ( v ,θ )

Αν X 1 , X 2 ,..., X v τ.δ., ~ exp (θ ) ,

i =1 v

η T = ∑ X i ~ Poisson(νλ)

Αν X 1 , X 2 ,..., X v τ.δ., ~ Poisson(λ),

i =1 v

η T = ∑ X i ~ ∆ιωνυµική (ν,p)

Αν X 1 , X 2 ,..., X v τ.δ., ~ Bernoulli (p),

i =1 v

Αν X 1 , X 2 ,..., X v τ.δ., ~ ∆ιωνυµική (N,p),

η T = ∑ X i ~ ∆ιωνυµική (νN,p) i =1 v

η T = ∑ X i ~ N(νµ,νσ2) και

Αν X 1 , X 2 ,..., X v τ.δ., ~ N(µ,σ2),

i =1

 σ2  η X ~ N  µ,  . v  

Κατανοµή Γ (Gamma) x 1 a −1 − β Γ ( a, β ) : f ( x ) = x e Γ(a) β a

( Ι) E ( X ) = a β , V ( X ) = a β 2

 1 β a a −1 − β x a a Γ  a,  : f ( x ) = x e (ΙΙ) E ( X ) = , V ( X ) = 2 β β Γ(a)  β 1 1 − xθ 1 −x −x Γ (1,θ ) : f ( x ) = x 0e θ = e = e θ = exp (θ ) Γ (1)θ 1!θ θ r r −1 − x −1 − x 1 1 r  2 2 2 Γ  ,2  : f ( x ) = x e = x e 2 = X r2 ( I ) = r r r r 2  Γ  22 Γ   22 2 2 r 1 Γ  ,  : f ( x ) = X r2 ( II ) 2 2 Γ ( a ) = ( a − 1)! αν ο α είναι ακέραιος.

∞

Γ ( a ) = ∫ t a −1e −t dt

αν α δεν είναι ακέραιος.

X = Γ (1,2 ) : f ( x ) = exp ( 2 ) 2 2

Αν X 1 , X 2 ,..., X v τ.δ., ~ exp (θ ) , τότε: T = ∑ X i ~ Γ ( v,θ ) = X v2θ i =1

Οι κατανοµές: Εκθετική – Γάµα - X Εκθετική: exp ( β ) =

−

συνδέονται.

, E(X ) = β , V (X ) = β2

1 1 1 Εκθετική: exp   = β e− β x , E ( X ) = , V ( X ) = 2 β β β  Η Gamma (1,θ ) είναι η exp (θ ) x 1 1 − xθ 1−1 − θ Gamma (1,θ ) : f ( x ) = x e = e = exp (θ ) Γ (1)θ 1 θ r  Η Gamma  , 2  = X r2 ( I ) 2  r 1 Η Gamma  ,  = X r2 ( II ) = exp ( 2 ) 2 2 v

Αν X 1 , X 2 ,..., X v τ.δ., ~ exp ( 2 ) , τότε: T = ∑ X i ~ Γ ( v, 2 ) = X 22v i =1

X v2 : f ( x ) =

v −1 − x 2 2

1 x e v v 2 Γ 2 2

Αν X 1 , X 2 ,..., X v τ.δ., ~ exp ( 2 ) , τότε: T = ∑ X i ~ Gamma ( v, 2 ) = X 22v i =1

Παράδειγµα: Αν Z ~ Gamma ( v,θ ) : f ( z ) = τότε η T =

z 1 v −1 − θ z e , 0 ≤ x < ∞, v ,θ > 0 , Γ ( v )θ v

ακολουθεί κατανοµή X 22v .

Απόδειξη:

θt   2z    θt  FT ( t ) = P (T ≤ t ) = P  ≤ t  = P  z ≤  = FZ   2 θ   2 v −1 d d   θ t  θ  θ t  θ 1  θ t  − 2θθt fT ( t ) =  FT ( t )  = FZ   = f Z   =   e = dt dt   2   2  2  2 Γ ( v )θ v  2  t − 1 v −1 2 t e = Gamma ( v, 2 ) = X 22v v 2 ( v − 1)! Άσκηση Έστω X 1 , X 2 ,..., X v τ.δ., από εκθετική κατανοµή µε σ.π.π. f ( x;θ ) = θ e−θ x . Να βρεθεί επαρκής και πλήρης σ.σ. για το θ. Λύση: Επάρκεια:

(Β1) Η από κοινού f ( X 1 , X 2 ,..., X v ;θ ) = ∏ f ( x;θ ) = i =1

∏θ e θ

− x

= θ ve

−θ

∑ Xi i =1

i =1

Παραγοντικό κριτήριο Neyman: h ( X ) = 1 , g (T ( X ;θ ) ) = θ v e

−θ

∑ Xi i =1

⇒

T ( X ) = ∑ X i επαρκής. i =1

(Β2) Είπαµε πριν ότι αν X 1 ~ exp (θ ) τότε: T = ∑ X i ~ Gamma ( v,θ ) . i =1

fT ( t ) =

t v −1e −θ t

Γ (v) Πληρότητα: (Β3) Έστω g (T ) : E  g ( t )  = 0 ⇒ ∞

∞

θv

∫ g ( t ) f ( t ) dt = ∫ g ( t ) Γ ( v ) t T

v −1 −θ t

e dt = 0, ∀t > 0 ⇒

Λόγω του µονοσήµαντου του σχηµατισµού Laplace(6), έχουµε:

θv

g (t ) t

Γ (v) πλήρης.

v −1

= 0, ∀t > 0 ⇒ g ( t ) = 0, ∀t > 0 , επειδή

θv Γ (v)

t v −1 > 0 , άρα η Τ είναι

Άσκηση Έστω X 1 , X 2 ,..., X v τ.δ., από κατανοµή N ( µ ,1) . Να βρεθεί επαρκής και πλήρης σ.σ. για το µ. Λύση: v

Έχουµε δει ότι η T ( X ) = ∑ X i είναι επαρκής σ.σ. για το µ και ότι ακολουθεί i =1

την κανονική κατανοµή ~ N ( vµ , v ) . fT ( t ) =

1 2  1 exp − ( t − vµ )  2π v  2v 

Ο µετασχηµατισµός Laplace µιας συναρτήσεως

l  f ( t )  =

+∞

∫ f (t ) e

− st

dt = F ( s )

f ( t ) ορίζεται ως εξής:

Έστω g (T ) : E  g ( t )  = 0 ⇒

∞

1 2  1 exp − ( t − vµ )  dt = 0 ⇒ 2π v  2v 

∫ g (t )

−∞

∞

1  1 2 2 2  g t exp ( ) − t − 2vµt + v µ   dt = 0 ⇒ ∫ 2π v −∞  2v  ∞  t2 1 vµ 2  exp − + − g t t µ  dt = 0 ⇒ ∫ ( )  2v 2  2π v −∞

−

vµ 2 ∞ 2

∫ g (t ) e

−

t2 2v

−∞ ∞

∫ g (t ) e

−

t2 2v

t  −  2v e dt = 0, ∀µ ∈ ℝ ⇒ ∫  g ( t ) e  e µt dt = 0, ∀µ ∈ ℝ ⇒  −∞  

∞

µt

e µt = 0, ∀µ ∈ ℝ ⇒ , άρα, λόγω του µονοσήµαντου του αµφίπλευρου

−∞

µετασχηµατισµού Laplace(7), g ( t ) e άρα η Τ είναι και πλήρης.

−

t2 2v

= 0, ∀t ⇒ g ( t ) = 0, ∀t , επειδή e

−

t2 2v

Άσκηση Έστω X 1 , X 2 ,..., X v τ.δ., από κατανοµή N ( 0,σ 2 ) . Να βρεθεί επαρκής και πλήρης σ.σ. για το σ2. Λύση: Από το παραγοντικό κριτήριο Neyman έχουµε ότι: v

T ( X ) = ∑ X i2 είναι επαρκής για το σ2. i =1

X i2  Xi  X i ~ N ( 0,σ ) ⇒ ~ N ( 0,1) ⇒   ~ 2 ~ X 12 σ σ σ  Xi

Έστω Y =

∑X i =1

2 i

~ X v2 , άρα T = σ 2Y ,

v  Y ~ X v2 = Gamma  ,2  2  t    t  FT ( t ) = P (T ≤ t ) = P (σ 2Y ≤ t ) = P  Y ≤ 2  = FY  2  σ   σ  d d   t  1  t   t   t  fT ( t ) =  FT ( t )  = FY  2   = fY  2  ⋅  2  ' = 2 fY  2   dt dt   σ   σ  σ  σ σ 

Ο αµφίπλευρος µετασχηµατισµός Laplace µιας συναρτήσεως

l  f ( t )  =

+∞

∫ f (t ) e

− st

dt = F1 ( s )

−∞

f ( t ) ορίζεται ως εξής:

−1

1 1 1 v2 −1 − 2σ 2  t  2 − 2σ 2 fT ( t ) = 2 e = t e . v v   σ  v  2v  σ 2  2σ 2 ) 2 Γ   Γ 2 ( 2 2 1

Έστω g (T ) : E  g ( t )  = 0, ∀σ > 0 ⇒ 2

∞

∫ g ( t ) f ( t ) dt = 0 ⇒ T

0 ∞

∫ g (t ) 0

∞

v 2 2

( 2σ )

∫ g (t ) t

∞

t v −1 − 2 2σ 2

v −1 − 2 1 v2 −1 − 2σ 2 1 1 2 t e dt = 0 ⇒ g t t e 2σ dt = 0 ⇒ ( ) v ∫ v v Γ  2σ 2 ) 2 Γ   0 ( 2 2

dt = 0, ∀σ 2 > 0 ⇒ και, λόγω του µονοσήµαντου του µετασχηµα-

τισµού Laplace), g ( t ) t

v −1 2

= 0, ∀t ⇒ g ( t ) = 0, ∀t > 0 , άρα η T ( X ) = ∑ X i2 είναι i =1

και πλήρης. Πρόταση Έστω ότι µία τ.µ. Χ ακολουθεί µονοπαραµετρική Ε.Ο.Κ. µε παράµετρο θ και έστω X 1 , X 2 ,..., X v τ.δ., από από τη Χ µε v

f ( x;θ ) = exp {n (θ ) T ( X ) − B (θ )} h ( X ) . Η Y ( X ) = ∑ T ( X i ) είναι επαρκής και i =1

πλήρης σ.σ. για την παράµετρο θ. Απόδειξη: Από το παραγοντικό κριτήριο Neyman, v

f ( x;θ ) = ∏ f ( xi ;θ ) = i =1

∏ exp{n (θ )T ( x ) − B (θ )} h ( x ) = i

i =1

 v  v exp ∑ n (θ ) T ( xi ) − B (θ )  ∏ h ( xi ) =  i=1  i =1 v   v exp n (θ ) ∑ T ( xi ) − B (θ )  ∏ h ( xi ) = g T * ( X ) ,θ  ⋅ h * ( X ) , i =1   i=1 v

i =1

µε T * ( X ) = ∑ T ( xi ) και h * ( X ) = ∏ h ( xi ) , άρα η T * ( X ) = ∑ T ( xi ) είναι επαρκής σ.σ. για το θ. Επάρκεια: Η πληρότητα αποδεικνύεται µε τη χρήση του µετασχηµατισµού Laplace. Αµεροληψία – Επάρκεια – Πληρότητα συνδέονται. Αν µία σ.σ. πληροί τις τρεις αυτές ιδιότητες, τότε είναι αµερόληπτη εκτιµήτρια ελάχιστης διασποράς (α.ε.ε.δ.). Παράδειγµα: Έστω X 1 , X 2 ,..., X v τ.δ., από κατανοµή N ( µ ,1) και

X1 + X v X + X2 + X3 , β) T2 = 1 , γ) T2 = X , 2 3 δ) T2 = X 1 , σ.σ. του X Ποια απ’ αυτές πρέπει να επιλεγεί ως η καλύτερη εκτιµήτρια για το µ; Απάντηση: Όλες είναι αµερόληπτες, όµως η γ) είναι επαρκής και εποµένως περιέχει όλες τις πληροφορίες από το δείγµα, άρα και θα προτιµηθεί. Επίσης θα πρέπει να επιλεγεί και αυτή η οποία έχει τη µικρότερη διασπορά (εκτιµήτρια ελάχιστης διασποράς). δ α.ε. για το θ ⇔ E (δ ) = θ . Το ίδιο ισχύει και για κάποια συνάρτηση του θ δ α.ε. για το g (θ ) ⇔ E (δ ) = g (θ ) .

α)

T1 =

ΑΜΕΡΟΛΗΨΙΑ ΕΛΑΧΙΣΤΗΣ ∆ΙΑΣΠΟΡΑΣ Η δ = δ ( X ) θα λέγεται Αµερόληπτη Εκτιµήτρια Ελάχιστης ∆ιασποράς (α.ε.ε.δ) του θ (ή µιας συναρτήσεως του θ, έστω g (θ ) ), εάν είναι α.ε. του θ, ή της g (θ ) και η διασπορά V (δ ( X ) ) ≤ V (δ1 ( X ) ) , όπου δ1 ( X ) οποιαδήποτε άλλη αµερόληπτη εκτιµήτρια του θ (ή g (θ ) ). Κριτήριο ελέγχου εκτιµήτριας για το θ, αν δεν είναι αµερόληπτες Το κριτήριο θα είναι το Μέσο Τετραγωνικό Σφάλµα (M.S.E.) (Mean Square Error). Θα επιλεγεί εκείνη η οποία ε΄χει το µικρότερο M.S.E. Υπενθύµιση: Ορίσθηκε ως αµεροληψία της εκτιµήτριας δ η ποσότητα: b (δ ) = E (δ ) − θ . Τετραγωνικό Σφάλµα (Square Error): (δ − θ ) µ = E (δ )

2 Μέσο Τετραγωνικό Σφάλµα (M.S.E.) (Mean Square Error): E (δ − θ )    2 2 2 E (δ − θ )  = V (δ − θ )  + E (δ − θ )  = V (δ ) + E (δ − θ ) =  

V (δ ) +  E (δ ) − E (θ )  = V (δ ) +  E (δ ) − θ  = V (δ ) +  E (δ ) − θ  = 2

V (δ ) + b (δ ) . ∆ηλαδή το MSE είναι ίσο µε το άθροισµα της διασποράς της και του τετραγώνου της µεροληψίας της. 2 Αν η δ είναι αµερόληπτη, τότε b (δ ) = 0 και E (δ − θ )  = V (δ )   2

Λήµµα Έστω U, Y τ.µ., τέτοιες ώστε: E [U ] = θ , V (θ ) ≥ 0 , πεπερασµένη και E [U | Y = y ] = W ( y ) , Υ επαρκής σ.σ. για το θ Τότε η W = W ( y ) είναι τέτοια ώστε: E (W ) = θ και V (W ) ≤ V (U ) Απόδειξη: (για συνεχείς τ.µ.) Έστω U, Y τ.µ. και g ( u , y ) η από κοινού σ.π.π. τους. Επίσης g1 ( y ) η περιθώρια της Υ και g 2 ( y ) η περιθώρια της U, h ( u | y ) δεσµευµένη σ.π.π. της U |Y = y W = W ( y ) = E (U | Y = y ) =

∞

∫ uh ( u | y ) du (1)

−∞

∞  E [W ] = E W ( y )  = ∫ w ( y ) g1 ( y ) dy = ∫  ∫ uh ( u | y ) du  g1 ( y ) dy = −∞  −∞ −∞  g ( u, y ) uh u | y g y dudy = u ( ) ( ) 1 ∫∫ ∫∫ g1 ( y ) g1 ( y ) dudy = ∫∫ ug ( u, y ) dydu = (1)

∞

∞  u g u , y dy ( ) du = ∫−∞  −∞∫  εκτιµήτρια του θ.

∞

∫ ug ( u )du = E [U ] = θ , άρα η W 2

είναι αµερόληπτη

−∞

{

V (U ) = E U − E (U ) 

} = E (U − θ )  = E (U − W + W − θ )  = 2

2 2 E (U − W ) + (W − θ ) + 2 (U − W )(W − θ )  =   2 2 E (U − W )  + E (W − θ )  + E  2 (U − W )(W − θ )  =     2 E (U − W )  + V (W ) + 2 E (U − W )(W − θ )  ⇒   2 V (U ) = E (U − W )  + V (W ) + 2 E (U − W )(W − θ )  ( 2 )   όµως E (U − W )(W − θ )  = ∫∫ ( u − W )(W − θ ) g ( u , y ) dudy =

∫∫ ( u − W ( y ) ) (W ( y ) − θ ) h ( u | y ) g ( y ) dudy =   W y − θ u − W y h u | y du ( ) ( ) ( ) ( ) ( )   g ( y ) dy ⇒ ∫ ∫ ∗

∞

−∞

 −∞



∞

∞  E (U − W )(W − θ )  = ∫ (W ( y ) − θ )  ∫ ( u − W ( y ) ) h ( u | y ) du  g1 ( y ) dy ( 3) . −∞  −∞  ∞

Αλλά

∞

−∞

∫ ( u − W ( y ) ) h ( u | y ) du = ∫ uh ( u | y ) du − ∫ W ( y ) h ( u | y ) du =

−∞ ∞

∞

−∞

∫ uh ( u | y ) du − W ( y ) ∫ h ( u | y ) du = E (U | Y = y ) − W ( y ) ⋅1 =

W ( y ) − W ( y ) = 0 , άρα η (3) γίνεται: E (U − W )(W − θ )  = 0 και η (2): 2 V (U ) = E (U − W )  + V (W ) ⇒ V (W ) ≤ V (U ) .  

∗

Επειδή

g (u | y ) =

h (u | y ) g1 ( y )

⇒ h ( u | y ) = g ( u | y ) g1 ( y )

Θεώρηµα Rao – Blackwell Έστω X 1 , X 2 ,..., X v τ.δ. από κάποια κατανοµή µε σ.π. (ή σ.π.π.) f ( x;θ ) . Επίσης: έστω Y = Y ( X 1 , X 2 ,..., X v ) σ.σ. επαρκής για τη θ και U = U ( X 1 , X 2 ,..., X v ) αµερόληπτη εκτιµήτρια της θ. Τότε η W = W ( y ) = E (U | Y = y ) είναι αµερόληπτη εκτιµήτρια της θ: E (W ) = θ και V (W ) ≤ V (U ) Παράδειγµα: X 1 , X 2 ,..., X v τ.δ. από Bernoulli(θ) f ( x;θ ) = θ x (1 − θ ) , x = 0,1 , 0 < θ < 1 Λύση: E ( X i ) = θ και V ( X i ) = θ (1 − θ ) , ∀1 ≤ i ≤ v , εποµένως η X 1 είναι αµερόληπτη 1− x

εκτιµήτρια

(E( X ) =θ ). 1

Έστω W = E ( X 1 | T = t ) . v

Η T = ∑ X i είναι επαρκής σ.σ. για τη θ και, κατά τα γνωστά, T ~ Bin ( v,θ ) , i =1

εποµένως: 1

α)

Για 1 ≤ t ≤ v : E ( X 1 | T = t ) = ∑ x1P ( X 1 = x1 | T = t ) = x1 =0

0 ⋅ P ( X 1 = 0 | T = t ) + 1 ⋅ P ( X 1 = 1| T = t ) = P ( X 1 = 1| T = t ) = *

P ( X 1 = 1, T = t ) = P (T = t )

v v     P  X 1 = 1, ∑ X i = t  P  X 1 = 1, ∑ X i = t − 1 i =1 i =2   = (8 )  = P (T = t ) P (T = t )

 v − 1 t −1  v  ( v −1)−( t −1) θ ⋅ θ 1 − θ P ( X 1 = 1) P  ∑ X i = t − 1 ( )   i =2  = (9 )  t −1  =  v  v t ( v −t ) P ∑ Xi = t   t θ (1 − θ )  i =1    *

µε βάση τη δεσµευµένη πιθανότητα v

i =1

i=2

∑ X i = t ⇒ X1 + ∑ X i = t ⇒ ∑ X i = t − X1 = t − 1 .

Ο λόγος που κάνουµε αυτή την αντικα-

τάσταση είναι να «βγάλουµε» το X από το άθροισµα και έτσι να έχουµε δύο ανεξάρτητες σ .σ .  v  9 Η P  ∑ X i = t − 1 είναι σ.π. διωνυµικής κατανοµής ( v − 1,θ ) .  i =2  1

( v − 1)! v −t (1 − θ ) ( t − 1)!( v − 1 − t + 1)! v! v −t (1 − θ ) t !( v − t )!

( v − 1)!t !( v − t )! = v!( t − 1)!( v − t )!

t v

Xi t ∑ i =1 Άρα E ( X 1 | T = t ) = = = X (1 ≤ t ≤ v ) v v 1

β)

Για t = 0 , E ( X 1 | T = 0 ) = ∑ x1P ( X 1 = x1 | T = 0 ) = x1 =0

Xi t T ∑ i =1 0 ⋅ P ( X 1 = 0 | T = 0 ) + 1 ⋅ P ( X 1 = 1| T = 0 ) = 0 + 0 = 0 = = = =X. v v v v

Άρα, σε κάθε περίπτωση, ισχύει: E ( X 1 | T = t ) =

∑X i =1

= X ,0 ≤ t ≤ v .

 v   ∑ Xi  θ (1 − θ ) 1 v 1 ≤ θ (1 − θ ) = V ( X i ) V (W ) = V  i =1  = 2 ∑V ( X i ) = 2 vV ( X i ) = v v v v   i =1     Άρα V (W ) ≤ V ( X 1 )

Παρατήρηση: v v −1   Αν λάβουµε αντί T = ∑ X i την T1 =  X v , ∑ X i  , η οποία είναι επίσης επαρκής i =1 i =1   σ.σ. για το θ, έχουµε: 1

E ( X 1 | T1 = t1 ) = ∑ x1P ( X 1 | T1 = t1 ) = P ( X 1 = 1| T1 = t1 ) = x1 =0

v −1 v −1     P  X 1 = 1, X v = xv , ∑ X i = t0  P  X 1 = 1, X v = xv , ∑ X i = t0 − 1 i =1 i =2  =  = v −1 v −1     P  X v = xv , ∑ X i = t0  P  X v = xv , ∑ X i = t0  i =1 i =1     v −1 v −1     P ( X 1 = 1) P ( X v = xv ) P  ∑ X i = t0 − 1 P ( X 1 = 1) P  ∑ X i = t0 − 1  i =2 =  i=2 = v −1 v −1     P ( X v = xv ) P  ∑ X i = t0  P  ∑ X i = t0   i =1   i=1 

 v − 2  t0 −1 v − 2 ( v − 2 )−( t0 −1) 1 − θ θ ( )   t − 1 ( v − 2 )!t0 !( v − t0 − 1)! = t0  t0 − 1 =  0 =  v − 1  t0  v − 1 ( t0 − 1)!( v − 2 − t0 + 1)!( v − 1)! v − 1 v −1−t0 θ θ 1 − ( ) t  t  0  0 

θ

v −1

Xi ∑ t0 i =1 W1 = E ( X 1 | T1 = t1 ) = = v −1 v −1  v −1   ∑ X i  ( v − 1)θ E (W1 ) = E  i =1  = =θ v −1  v −1       v −1   ∑ Xi  θ (1 − θ ) 1 v 1 1 V (W1 ) = V  i =1  = − θ − θ = ⇒ V (W1 ) < W ( X 1 ) ⇒ ( ) ( ) 2 v −1  v − 1  ( v − 1)     θ (1 − θ ) θ (1 − θ ) Αλλά, V (W1 ) = > = V (W ) ⇒ V (W ) < V (W1 ) v −1 v

Παράδειγµα - Άσκηση Έστω X 1 , X 2 ,..., X v τ.δ. από κανονική κατανοµή N ( µ ,σ 2 ) , µ ,σ 2 άγνωστα και,

(

)

2 1 v X − X αµερόληπτη εκτιµήτρια του σ2. ∑ i v − 1 i =1 Να βρεθεί η τιµή της σταθεράς c , έτσι ώστε η cs 2 να είναι εκτιµήτρια ελαχίστου µέσου τετραγωνικού σφάλµατος. Λύση: 2 2 MSE = E ( cs 2 − σ 2 )  = V ( cs 2 − σ 2 ) +  E ( cs 2 − σ 2 )  =  

έστω s 2 =

V ( cs 2 ) +  E ( cs 2 ) − E (σ 2 )  = c 2V ( s 2 ) + cE ( s 2 ) − σ 2  = 2

c 2V ( s 2 ) + cσ 2 − σ 2  = c 2V ( s 2 ) + σ 2 ( c − 1)  = c 2V ( s 2 ) + σ 4 ( c − 1) * 2

Γνωρίζουµε ότι

( v − 1) σ4

 ( v − 1) s 2   = 2 ( v − 1) ⇒ v −1 ⇒ V  2 σ  

( v − 1) s 2 ~ X 2 σ2

2σ 4 2 2     V  s  = 2 ( v − 1) ⇒ V  s  = , v −1

2σ 4 2 άρα * MSE = c + σ 4 ( c − 1) v −1 2

d  2 2σ 4 2σ 4 2 4 Πρέπει ( MSE ) ' = 0 ⇒ c + σ ( c − 1)  = 2c + σ 4 2 ( c − 1) = 0 ⇒  dc  v − 1 v −1  2σ 4 σ4 1 v −1 v −1 + cσ 4 − σ 4 = 0 ⇒ c = ⇒ c= = = , 4 2 2σ v −1 2 + v − 1 v + 1 +1 +σ 4 v −1 v −1 2 2 v −1 1 v 1 v X X οπότε: cs 2 = − = X − X είναι εκτιµήτρια ελα∑ i ∑ i v + 1 v − 1 i =1 v + 1 i =1 χίστου µέσου τετραγωνικού σφάλµατος. c

(

)

(

)

Μικρή Γενίκευση του Θεωρήµατος Rao – Blackwell

Έστω X 1 , X 2 ,..., X v τ.δ. από κάποια κατανοµή µε σ.π. f ( x;θ ) . Αν η U = U ( X 1 , X 2 ,..., X v ) είναι αµερόληπτη εκτιµήτρια της g (θ ) και T = T ( X ) επαρκής σ.σ. του θ, τότε η σ.σ. δ ( x ) = Ψ T ( X )  = E [U | T ] είναι αµερόληπτη εκτιµήτρια της g (θ ) και V δ ( x )  ≤ V U ( X )  .

Θεώρηµα Lehman – Scheffe: Έχουµε τις προϋποθέσεις του Θεωρήµατος Rao – Blackwell και επί πλέον: η σ.σ. Τ είναι επαρκής και πλήρης. Τότε η σ.σ. δ ( x ) = Ψ T ( X )  = E [U | T ] είναι η α.ε.ε.δ. της g (θ ) , δηλαδή Έ-

{

}

{

}

στω Ψ 0 T ( X )  και Ψ1 T ( X )  : E Ψ 0 T ( X )  = E Ψ1 T ( X )  = g (θ ) .

{

}

Άρα E Ψ 0 T ( X )  − Ψ1 T ( X )  = 0, ∀θ . Άρα, λόγω πληρότητος: Ψ 0 T ( X )  − Ψ1 T ( X )  = 0 ⇒ Ψ 0 T ( X )  = Ψ1 T ( X )  , ∀θ . άρα µοναδική.

Πρόταση (Πόρισµα): Αν Τ επαρκής και πλήρης σ.σ. για τη θ και Ψ1 (T ) αµερόληπτη εκτιµήτρια του g (θ ) , τότε η Ψ1 (T ) είναι η α.ε.ε.δ. της g (θ ) . Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από N (θ ,1) . Να βρεθεί η α.ε.ε.δ. του θ. Λύση: v

Κατά τα γνωστά, η T = ∑ X i είναι επαρκής και πλήρης σ.σ. για το θ. i =1

( )

Επίσης: E X = θ  v   ∑ Xi  T  και E X = E  i =1  = E   = θ , άρα v  v      η X είναι η α.ε.ε.δ. του θ.

( )

Αντίστοιχα, µπορούµε να αποδείξουµε ότι ο X είναι η α.ε.ε.δ. για τις κατανοµές: ∆ιωνυµική, Benoulli, Poisson,… κ.λ.π. Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από N (θ ,1) . Να δειχθεί ότι η σ.σ. Y = X − 2

α.ε.ε.δ. της g (θ ) = θ 2 . Λύση: v

1 είναι η v

Έχει δειχθεί ότι η T = ∑ X i είναι επαρκής και πλήρης σ.σ. για το θ. Εποµένως i =1

 v  X ∑ i 2 1  i =1  1 T 2 v T2 −v Y=X − =   − = − = . Επµένως, αρκεί να δειχθεί ότι v  v  v v2 v2 v2   η Υ, η οποία είναι συνάρτηση της Τ, είναι αµερόληπτη εκτιµήτρια του θ 2 . 2 2 1 1  2 1 E (Y ) = E  X −  = E X − = V X +  E X  − (1)   v v v   1 Κατά τα γνωστά, αν X ~ N (θ ,1) , τότε X ~ N  θ ,  , εποµένως E X = θ ,  v 2 1 1 1 1 V X = και η (1) γίνεται: E (Y ) = V X +  E X  − = + θ 2 − = θ 2 και   v v v v 2 αυτό σηµαίνει ότι η Υ είναι αµερόληπτη εκτιµήτρια του θ .

( )

Εναλλακτικά: X −θ  1 X ~ N (θ ,1) ⇒ X ~ N  θ ,  ⇒ Z = ~ N ( 0,1) ⇒ 1  v v 2 2       X − θ    X −θ  2 2 2 2 Z =  ~ X (1) ⇒ E ( Z ) = E    = 1 ⇒ E v X − θ  =    1    1     v    v   

(

)

(

)

(

2 2 2 vE  X − θ  = E  X − θ  = E X − 2 X ⋅ θ + θ 2 =    

( ) E ( X ) −θ

E X

(

( )

)

− 2 E X ⋅ θ + E (θ 2 ) = E X

( )

)

( ) − 2θ

− 2θ E X + θ 2 = E X

+θ 2 =

( )

2 1 1  2 1 ⇒ E X − E   = θ 2 ⇒ E  X −  = θ 2 ⇒ E (Y ) = θ 2 και v v v  έτσι καταλήγουµε στο ίδιο συµπέρασµα ότι η Υ είναι αµερόληπτη εκτιµήτρια του θ 2 . 2

Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από U ( 0,θ ) . Να βρεθεί α.ε.ε.δ. των σ.σ.: α) g (θ ) = θ k , β) E ( X ) και γ) V ( X ) . Λύση: 1 f ( x ,θ ) = I ( 0 < x < θ )

α)

Έχουµε δει στα προηγούµενα ότι: η σ.σ. T = X ( v ) = max ( X i ) είναι επαρ-

κής σ.σ. για τη θ. 44

Πληρότητα; Έστω g (T ) : E  g (T )  = 0 Πρώτα βρίσκουµε τη σ.π.π. της Τ, ξεκινώντας από την αθροιστική της:

(

)

FT ( t ) = P (T ≤ t ) = P X ( v ) ≤ t = P ( X 1 , X 2 ,…, X v ≤ t ) = P ( X 1 ≤ t ) P ( X 2 ≤ t ) ⋅ ⋅ ⋅ P ( X v ≤ t ) ⇒ FT ( t ) =  FX ( t )  ( 2 ) v

1 t FX ( t ) = ∫ dt = 0

θ v

tv t Και η (2) γίνεται: FT ( t ) =  FX ( t )  =   = v , εποµένως η σ.π.π. της Τ είναι θ  θ η παράγωγος της αθροιστικής: d d  tv  t v −1 fT ( t ) =  FT ( t )  =  v  = v v , t ∈ ( 0,θ ) dt dt  θ  θ v

Έστω g (T ) : E  g (T )  = 0 E  g (T )  = 0, ∀θ ⇒

t v −1

∫ g ( t ) f ( t ) dt = ∫ g ( t ) v θ T

dt =

∫ g (t ) t

v −1

dt = 0, ∀θ

και, παραγωγίζοντας ως προς θ, παίρνουµε: g (θ )θ = 0 ⇒ g (θ ) = 0, ∀θ άρα η Τ είναι και πλήρης. Εποµένως ψάχνουµε να βρούµε µια συνάρτηση της επαρκούς και πλήρους, η οποία να είναι α.ε. της g (θ ) = θ k . v −1

Έστω Ψ (T ) : E  Ψ (T )  = θ ⇒ k

∫ Ψ ( t ) f ( t ) dt = θ T

, ∀θ ⇒

v −1

∫ Ψ (t ) v θ 0

dt = θ ⇒ k

θ v ∫0

Ψ ( t ) t dt = θ ⇒ v −1

∫ Ψ (t )t

v −1

dt =

γίζοντας ως προς θ, παίρνουµε: Ψ (θ )θ Άρα η συνάρτηση Ψ (T ) =

v −1

= (v + k )

θ v+ k −1 v

θ v+k v

και, παραγω-

⇒ Ψ (θ ) =

v+k k θ . v

v+k k v+k T = X ( v ) k είναι η ζητούµενη α.ε.ε.δ. της v v

θk. Άρα, για διάφορες τιµές του κ, έχουµε τις διάφορες α.ε.ε.δ. των δυνάµεων του θ: v+k Π.χ. για k = 1 , έχουµε ότι η α.ε.ε.δ. του θ είναι X (v ) v β)

Αφού X ~ U ( 0,θ ) , τότε: E ( X ) =

Ψ1 (T ) : E  Ψ1 (T )  = g1 (θ ) =

θ 2

, εποµένως ζητούµε σ.σ.

Έχουµε βρει ότι: Ψ (T ) =

v+k X ( v ) k α.ε.ε.δ. της g (θ ) = θ k . Τότε: v

v+k X ( v ) k α.ε.ε.δ. της g c (θ ) = c ⋅ θ k v 1 και, για c = , k = 1 , έχουµε: 2 1 v +1 1 Ψ1 ( T ) = X ( v ) α.ε.ε.δ. της g1 (θ ) = ⋅ θ . 2 2 v

Ψ c (T ) = c

Αφού X ~ U ( 0,θ ) , τότε: V ( X ) =

γ)

θ2 12

Παράδειγµα - Άσκηση: Να βρεθεί η α.ε.ε.δ. E ( X ) , V ( X ) τέτοια ώστε: 1 και, σύµφωνα µε τα προηγούµενα, για c = , k = 2 , έχουµε: 12 1 v+2 θ2 2 Ψ 2 (T ) = X ( v ) α.ε.ε.δ. της g 2 (θ ) = . 12 12 v Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή µε f ( x, λ ) = 2λ 2 x −3 , x > λ , λ > 0 . 1) Ν.δ.ό. η σ.σ. T = X (1) = min X i είναι επαρκής και πλήρης για το λ. 2) Να βρεθεί η α.ε.ε.δ. του g ( λ ) = λ − k . Λύση: v

∏ f ( x , λ ) = ∏ 2λ

f ( X ,λ ) =

i =1

( 2λ )

xi −3 I ( λ < xi < ∞ ) =

i =1

2 v

∏ I (λ < x < ∞) = i

∏x

3 i =1

i =1

θέλουµε:

∏ I (λ < x < ∞) = 1 ⇔ i

λ < xi < ∞, ∀i = 1,2,..., v ⇔

i =1

(

)

λ < X (1) < X 2 < ... < X v < ∞ ⇔ λ < X (1) < X 2 < ... < X v < ∞ ⇔ I λ < x(1) < ∞ = 1 Άρα f ( X , λ ) = ( 2λ 2 )

v v

∏x

(

)

I λ < x(1) < ∞ = h ( X ) ⋅ g T ( X ) ,θ  µε

i =1

h( X ) =

∏x

(

και g T ( X ) , λ  = ( 2λ 2 ) I λ < x(1) < ∞

)

i =1

άρα η T = X (1) είναι επαρκής. Θα βρούµε την σ.π.π. της Τ, αφού πρώτα βρούµε την αθροιστική της και µετά την παραγωγίσουµε. 46

(

)

(

)

FT ( t ) = P (T ≤ t ) = P X (1) ≤ t = 1 − P X (1) > t = 1 − P ( X 1 , X 2 ,..., X v > t ) = 1 − P ( X1 > t ) P ( X 2 > t ) ⋅ ⋅ ⋅ P ( X v > t ) = v

1 − 1 − P ( X 1 ≤ t )  1 − P ( X 2 ≤ t )  ⋅ ⋅ ⋅ 1 − P ( X 3 ≤ t )  = 1 − ∏ 1 − P ( X i ≤ t )  = i =1

1 − ∏ 1 − FX ( t )  = 1 − 1 − FX ( t )  , όπου FX ( t ) είναι η αθροιστική της Χ, την v

i =1

οποία µπορούµε να βρούµε µε ολοκλήρωση της σ.π.π. της Χ t

 x −2  1 λ2 λ 21 FX ( t ) = ∫ 2λ x dx = 2λ   = −λ  2 − 2  = 1 − 2 = 1 −   , οπότε λ  t t t  −2  λ λ η αθροιστική της Τ ισούται: t

2 −3

2v 2    λ 2    λ λ  FT ( t ) = 1 − 1 − FX ( t )  = 1 − 1 − 1 −     = 1 − 1 − 1 +    = 1 −   t  t      t     και, 2 v −1 2v d d  λ   λ 2v  λ  −λ fT ( t ) = FT ( t ) = = 2v 2 v+1 1 −    = −2v   t2 dt dt   t   t t

Έστω g (T ) : E  g (T )  = 0, ∀λ ⇒ ∞

2vλ 2v ∫ λ

g (t ) dt = 0 ⇒ t 2v +1

∞

g (t )

∫λ t

2 v +1

∞

∫ g ( t ) fT ( t ) dt = 0 ⇒ λ

∞

∫ g ( t ) 2v λ

λ 2v t 2v +1

dt = 0 ⇒

dt = 0 και, παραγωγίζοντας ως προς λ:

− g ( λ ) λ −2v −1 = 0 ⇒ g ( λ ) = 0, ∀λ ⇒ g ( t ) = 0, ∀t , δεδοµένου ότι λ −2 v−1 > 0 πάντα, άρα η Τ είναι και πλήρης σ.σ. για το λ. Άρα για να βρούµε την α.ε.ε.δ. του λ − k , ζητούµε συνάρτηση της πλήρους και επαρκούς (Τ) η οποία να είναι α.ε. του λ − k . Έστω λοιπόν Ψ (T ) : E  Ψ (T )  = g ( λ ) = λ − k ∞

∞

2vλ 2 v 1 2v −k Ψ t dt = ⇒ 2 v λ Ψ t dt = λ − k ⇒ λ ( ) ( ) 2 v + 1 2 v +1 ∫λ ∫ t t λ

λ −2 v − k

Ψ (t ) λ −k dt = = ∫λ t 2v+1 2vλ 2v

∞

και, παραγωγίζοντας κατά τα γνωστά ως προς λ, παίρνουµε: 2v Ψ (λ ) k + 2v − k λ − k −2 v−1 − 2v +1 = ( − k − 2v ) ⇒ Ψ (λ ) = λ 2v 2v λ k + 2v − k k + 2v Άρα η σ.σ. Ψ (T ) = T = X (1) − k 2v 2v −k είναι η α.ε.ε.δ. του λ

Φράγµατα ∆ιασποράς – Ανισότητα Cramer - Rao Η Ανισότητα Cramer – Rao εξασφαλίζει (κάτω από ορισµένες συνθήκες οµαλότητας) ότι η ελάχιστη διασπορά της εκτιµήτριας µιας παραµέτρου δεν µπορεί να είναι µικρότερη από κάποιο θετικό φράγµα το οποίο προσδιορίζεται από την κατανοµή του τ.δ. Προσοχή! Αν µια εκτιµήτρια επιτυγχάνει το C-R, είναι εκτιµήτρια ελάχιστης διασποράς. Αν αυτή είναι και α.ε., τότε είναι η α.ε.ε.δ. Παράδειγµα: Έστω X 1 , X 2 ,…, X v τ.δ. από µονοδιάστατη κατανοµή µε συνάρτηση πιθανότητας. (ή σ.π.π.) f ( x;θ ) . Αν T = T ( X 1 , X 2 ,…, X v ) είναι εκτιµήτρια της g (θ ) και bT (θ ) η µεροληψία της Τ, τότε το κάτω φράγµα (L.B.) της διασποράς των Cramer – Rao θα είναι:  g ' (θ ) − b 'T (θ )   g ' (θ ) − b 'T (θ )  L.B.C − R =  = − 2 2   ∂   ∂ 2     v ⋅ E   ln f ( x;θ )   v ⋅ E   2 ln f ( x;θ )       ∂θ     ∂θ 2

 g ' (θ ) − b 'T (θ )  και εποµένως V (T ) ≥  2   ∂   v ⋅ E   ln f ( x;θ )       ∂θ 2

2 2   ∂ 2   ∂     Η ποσότητα I X (θ ) = E   ln f ( x;θ )   = E   2 ln f ( x;θ )   καλείται ∂θ       ∂θ   Μέτρο Πληροφορίας του Fisher που περιέχεται στο Χ, για την παράµετρο θ. Ειδικές περιπτώσεις: 1) Για αµερόληπτες εκτιµήτριες έχουµε ότι bT (θ ) = 0 , οπότε:

 g ' (θ )  , V (T ) ≥ 2   ∂   v ⋅ E   ln f ( x;θ )       ∂θ 2

Για g (θ ) = θ το κάτω φράγµα Cramer – Rao θα είναι:

1 − b 'T (θ )  V (T ) ≥  v ⋅ I X (θ ) 3)

Αν g (θ ) = θ και Τ είναι αµερόληπτη εκτιµήτρια: V (T ) ≥

v ⋅ I X (θ ) Προσοχή! - Αν το θ είναι διάνυσµα παραµέτρων, απαιτείται χρήση πινάκων. - Είναι δυνατόν µια εκτιµήτρια να είναι α.ε.ε.δ., αλλά να µην επιτυγχάνει το LB C-R. 49

Αποτελεσµατικότητα (Efficiency) Αν η σ.σ. Υ είναι αµερόληπτη εκτιµήτρια της θ και επιτυγχάνει το κάτω φράγµα της ανισότητας C-R, τότε η Υ θα λέγεται αποτελεσµατική (efficient), δηλαδή 1 CRκφ = = V (Y ) . v ⋅ I X (θ ) Αν α.ε. και αποτελεσµατική, τότε είναι η α.ε.ε.δ. Αν α.ε.ε.δ. τότε δεν έπεται ότι είναι και αποτελεσµατική. Αν δεν είναι α.ε.ε.δ. τότε δεν είναι αποτελεσµατική.

Η αποτελεσµατικότητα µιας (αµερόληπτης) εκτιµήτριας δ ( X ) της g (θ ) ορίζεται ως: LBC − R  g (θ )  v ⋅ I X (θ ) a (δ ) = = . V δ ( X )  V δ ( X )  2

Από την ανισότητα C-R, έπεται ότι 0 ≤ a δ (T )  ≤ 1 . Αν η δ είναι αποτελεσµατική, τότε a (δ ) = 1.

! Στις εφαρµογές µιας εκτιµήτριας 50% αποτελεσµατικής ( a (δ ) = 0,5 ) 1 = 2 φορές περισσότερες παρατηρήσεις για να εκτιµήσει µε την 0,5 ίδια ακρίβεια την g (θ ) µε αυτή που επιτυγχάνει η (100% ) αποτελεσµατική εκτιµήτρια.

Χρειάζεται

Παράδειγµα – Άσκηση Έστω X 1 , X 2 ,…, X v τ.δ. από N ( µ ,σ 2 = 25 ) . α)

Να βρεθεί το I X ( µ ) (η πληροφορία του Fisher του δείγµατος για το µ)

β) Να δειχθεί ότι ο X είναι αποτελεσµατική εκτιµήτρια για το µ. Λύση 2   ∂   α) I X ( µ ) = v ⋅ I X ( µ ) = v ⋅ E   log f ( x; µ )       ∂θ 1  ( x − µ )2  − f ( x; µ ) = ( 50π ) 2 exp − ⇒ 50    1  ( x − µ ) 2  1 1 − 2 ln f ( x; µ ) = ln ( 50π ) 2 exp −  = − ln ( 50π ) − ( x − µ ) ⇒ 50  2 50    50

∂ ∂  1 1 1 x−µ 2 ln 50 x ln f ( x; µ ) = − π − − µ = − 2 x − µ − 1 = ( ) ( ) ( )( )  ∂µ ∂µ  2 50 50 25 2 2 2 x − µ)  ∂  ( x−µ  ∂µ ln f ( x; µ )  =  25  = 625     2  ( x − µ )2  v 2   ∂   E ( x − µ )  = Άρα I X ( µ ) = v ⋅ E   log f ( x; µ )   = v ⋅ E  =      ∂θ  625  625  v v v V (X )= ⋅ 25 = . 625 625 25 v Άρα η πληροφορία Fisher είναι: I X ( µ ) = v ⋅ I X ( µ ) = 25 β) Ζητούµε αµερόληπτη εκτιµήτρια Τ του µ, που να ικανοποιεί το LBC − R . X α.ε. του µ. 1 1 25 Άρα V (T ) ≥ = = v ⋅ IX (µ ) v ⋅ 1 v 25 Έχουµε δει µέχρι τώρα ότι µία α.ε. του µ στην κανονική κατανοµή είναι η T ( X ) = X (δειγµατικός µέσος).

V ( X ) 25 = v v Άρα η εκτιµήτρια του µ, T ( X ) = X είναι αµερόληπτη και η διασπορά της ισούται µε το κάτω φράγµα Cramer-Rao, άρα είναι αποτελεσµατική. LBC − R 25 25 Πράγµατι: a (T ) = = ÷ =1 V [T ] v v

( )

V T ( X )  = V X =

Θεώρηµα: Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή µε f ( x;θ ) ,θ ∈ Θ ⊆ ℝ και δ ( X ) = δ εκτιµήτρια της g (θ ) . Τότε η δ είναι αποτελεσµατική εκτιµήτρια της g (θ ) , αν και µόνο αν υπάρχει συνάρτηση κ ( v,θ ) > 0 , τέτοια ώστε: ∂ ln f ( X ;θ ) = ∂θ

∂

∑ ∂θ ln f ( x ;θ ) = κ ( v,θ ) δ ( X ) − g (θ ) i

i =1

Παράδειγµα – Άσκηση Έστω X 1 , X 2 ,…, X v τ.δ. από N ( µ ,σ 2 = 25 ) . Να βρεθεί αποτελεσµατική εκτιµήτρια του Χ. Λύση Έστω δ ( X ) = X εκτιµήτρια του µ, τότε 51

∂

∑ ∂µ ln f ( x; µ ) = k ( v, µ ) δ ( X − µ ) i =1

1 1 2 ln f ( x; µ ) = − ln ( 50π ) − ( x − µ ) ⇒ 2 50 ∂ x−µ ln f ( x; µ ) = ⇒ ∂µ 25 v v xi − µ 1 v 1  v 1 v   v X − vµ  = X − µ = xi − µ = xi − ∑ µ  = ∑ ∑ ∑     25 i =1 25 25  i =1 25  i =1 i =1  25 v Άρα ισχύει το πόρισµα µε κ ( v,θ ) = > 0 , δ ( X ) = X , και g (θ ) = µ . 25 Άρα T ( X ) = X αποτελεσµατική εκτιµήτρια του µ.

Συνέπεια (Consistency) Ως επιθυµητή ιδιότητα εκτιµητριών, ζητούµε, όσο µεγαλώνει το µέγεθος του δείγµατος ν, να έχουµε πιο ακριβή εκτίµηση της παραµέτρου θ. Ορισµός Συγκλίσεως: α) Ασθενής σύγκλιση ή σύγκλιση κατά πιθανότητα. Λέµε ότι µια ακολουθία X v συγκλίνει κατά πιθανότητα στο Χ και γράφουµε lim P ( X v − X ≥ ε ) = 0   v →∞ X v  → X , εάν ∀ε > 0 . lim P ( Tv − θ < ε ) = 1  v →∞  β) Ισχυρή ή σχεδόν βέβαιη σύγκλιση P v →∞

(

)

σ .β X v  → X εάν lim X v = X µε πιθανότητα 1, P lim X v = X = 1 v →∞ v →∞

v →∞

Ορισµός: Η ακολουθία εκτιµητριών Tv καλείται «ασθενώς συνεπής» για την παράµετρο θ, P εάν Tv  →θ , ∀θ ∈ Θ , ενώ καλείται «ισχυρώς συνεπής» εάν lim Tv = θ µε v →∞ v →∞

πιθανότητα 1. Θεώρηµα: Έστω Tv ακολουθία εκτιµητριών της παραµέτρου θ. Εάν (i) Tv αµερόληπτες εκτιµήτριες της παραµέτρου θ. (ii) lim v (Tv ) = 0 v →∞

τότε η Tv είναι (ασθενώς) συνεπής εκτιµήτρια του θ.

Θεώρηµα (Γενίκευση): Αν Tv ακολουθία εκτιµητριών της g (θ ) , για την οποία ισχύουν: (i) lim E (Tv ) = g (θ ) (ασυµπτωτικά αµερόληπτη εκτιµήτρια). v →∞

(ii)

limV (Tv ) = 0 v →∞

τότε η Tv είναι συνεπής εκτιµήτρια της g (θ ) . Παράδειγµα – Άσκηση Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή µε f ( x;θ ) . Ο δειγµατικός µέσος X εί-

( )

ναι πάντα συνεπής εκτιµήτρια της µέσης τιµής της κατανοµής του Χ, E X = µ Προσοχή! Το µ θα είναι συνάρτηση του θ . Έχουµε:

   V (X )  V X =  v   V (X ) limV X = lim = 0 v →∞ v →∞ v  Άρα ο X είναι συνεπής εκτιήτρια του µ = E X

( )

E X = E ( X ) = µ (i )

( )

Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από N ( µ ,σ 2 ) . Να δειχθεί ότι η s 2 =

1 v ( xi − X ) 2 είναι αµερόληπτη και συνεπής εκτιµή∑ v − 1 i =1

τρια του σ2. Λύση Αµεροληψία: Ξέουµε ότι: v −1

v −1

 v −1  s 2 ~ X v2−1 . Άρα E  2 s 2  = v − 1 ⇒ σ 

E  s 2  = v − 1 ⇒ E  s 2  = σ 2

v − 1) ( σ4 v −1 2  2 2 V  s  = 2 ( v − 1) ⇒ V  s  = 2 Συνέπεια: V  2 s  = 2 ( v − 1) ⇒ . σ4 v −1 σ  2σ 4 2 limV  s  = lim = 0 , άρα η s 2 είναι συνεπής εκτιµήτρια του σ2. v →∞ v →∞ v − 1 Άσκηση (Παλιό θέµα) Έχουµε X 1 , X 2 ,…, X v τ.δ. που ακολουθούν διωνυµική κατανοµή Bin(N,p). Να βρεθεί α.ε.ε.δ. του p και, αφού υπολογισθεί το κάτω φράγµα διασποράς κατά Cramer – Rao, να εξετασθεί η αποτελεσµατικότητα και η συνέπειά της. Λύση Η διωνυµική κατανοµή ανήκει στην εκθετική οικογένεια κατανοµών, άρα κατ’ ευθείαν µπορούµε να βρούµε εκτιµήτρια, η οποία να είναι επαρκής και πλήρης. x  N  p  N x N −x N f ( x, p ) =   p (1 − p ) =   (1 − p ) =  x   x  1 − p    N   p  exp  x ln  + N ln 1 − p ( )   ,  1 − p     x  2

 p  N T ( X ) = x , η ( p ) = ln  , B p = − N ln 1 − p , h x = ( ) ( ) ( )  x  1− p    Υπολογισµός της από κοινού πυκνότητας πιθανότητας των ( X 1 , X 2 ,…, X v ) :

f ( X 1 , X 2 ,…, X v , p ) = ∏ f ( xi , p ) =



 p 

  v   p  v  v N x N p exp ln  + ln 1 − ( ) ∏   = ∑ i ∑ 1 − p i =1  i =1    i =1  xi  i =1

 N 

∏ exp  x ln  1 − p  + N ln (1 − p )  x  = i =1







  p  v  v N exp ln   ∑ xi + vN ln (1 − p )  ∏  x  =   1 − p  i =1  i =1  i   v  v exp ∑ T ( xi )η ( p ) + vB ( p )  ∏ h ( xi ) .  i =1  i =1 v

i =1

Άρα η T ( X ) = ∑ T ( xi ) = ∑ xi = T είναι επαρκής και πλήρης εκτιµήτρια του p. Προσοχή! Αν δεν ανήκε η κατανοµή µας στην εκθετική οικογένεια κατανοµών, έπρεπε να εξετάσουµε το παραγοντικό κριτήριο και µετά να την πάρουµε και να βρούµε την πληρότητα. Αµεροληψία: Τ: άθροισµα των xi , όπου xi ~ Bin ( N , p ) . v

Άρα

∑x

= T ~ Bin ( vN , p )

i =1

Ζητώ συνάρτηση της Τ, η οποία να είναι α.ε. του p. E (T ) T 1 v T  Άρα E (T ) = vNp ⇒ = p ⇒ E   = p , άρα η = ∑ xi είναι αvN vN i =1 vN  vN  µερόληπτη εκτιµήτρια του p και από το θεώρηµα L-S, θα είναι α.ε.ε.δ. (γιατί είναι συνάρτηση της επαρκούς και πλήρους Τ). p (1 − p ) 1 1  T  1 Αποτελεσµατικότητα: V  = V T = vNp − p = . ( ) ( )  2 2 v2 N 2 vN  vN  v N Το γεγονός ότι είναι α.ε.ε.δ. δεν σηµαίνει απαραίτητα ότι είναι και κάτω φράγµα. Υπολογίζω δηλαδή και το κάτω φράγµα του C-R και συγκρίνω τις τιµές. Αν δεν είναι ίσες, πρέπει να υπολογίσω και τη διασπορά της. 1 LBC − R = vI X ( p ) 2  ∂  ∂2    I X ( p ) = E  ln f ( x, p )   = − E  2 ln f ( x, p )  *  ∂p    ∂p  N N −x f ( x, p ) =   p x (1 − p ) ⇒ x 

N ln f ( x, p ) = ln   + x ln p + ( N − x ) ln (1 − p ) ⇒ x  55

∂ x N−x x N−x ln f ( x, p ) = + ⇒ ( −1) = − p 1− p p 1− p ∂p ∂2 x − ( N − x )( −1) x N−x ln f ( x, p ) = − 2 − =− 2 − ⇒ 2 2 2 ∂p p p − − 1 p 1 p ( ) ( )  x N − E [ x]  ∂2  N−x  1 * I X ( p ) = − E  2 ln f ( x, p )  = − E  − 2 − = E [ x] + = 2 2 2 ∂ p p p 1 − p 1 − p ( )  ( )    N (1 − p ) 1 1 1 N − Np 1 N 1  Np + = N + = N + = N +  = 2 2 p 1− p p2 p (1 − p ) (1 − p )  p 1− p  1− p + p  N N =  p (1 − p )  p (1 − p )

Άρα LBC − R =

1 vI X ( p )

p (1 − p ) 1  T  = =V  . N vN vN   v p (1 − p )

T είναι αποτελεσµατική εκτιµήτρια του p. vN p (1 − p )  T  Συνέπεια: limV  = lim = 0 , άρα είναι συνεπής.  v →∞  vN  v→∞ vN

Άρα η

ΕΚΤΙΜΗΤΙΚΗ Μέθοδος Ευρέσεως Εκτιµητριών. • Μέθοδος µέγιστης Πιθανοφάνειας • Μέθοδος Ελαχίστων Τετραγώνων • Μέθοδος των Ροπών Οι προαναφερθείσες µέθοδοι ανήκουν στην Κλασική Στατιστική. • Μπεϋζιανή Στατιστική (Στατιστική κατά Bayes) Ορισµός: Συνάρτηση Πιθανοφάνειας (Likelyhood function) Είναι η από κοινού σ.π. (ή σ.π.π.) ενός τ.δ. X 1 , X 2 ,…, X v , ως συνάρτηση της άγνωστης παραµέτρου θ. v

L (θ ) = L (θ , x1 , x2 ,..., xv ) = f ( x1 , x2 ,..., xv ,θ ) = ∏ f ( xi ,θ ) i =1

Για κάθε θ ∈ Θ (µπορεί να είναι και διάνυσµα) και για συγκεκριµένο δείγµα, µπορούµε να βρούµε την τιµή της συνάρτησης πιθανοφάνειας. Εκτιµήτρια Μέγιστης Πιθανοφάνειας (Ε.Μ.Π.). Εκτιµήτρια Μέγιστης Πιθανοφάνειας θɵ καλείται η σ.σ. που µεγιστοποιεί τη

()

συνάρτηση πιθανοφάνειας L (θ ) ως προς θ. Για συγκεκριµένο δείγµα, η εκτιµήτρια συνάρτηση θɵ θα παίρνει συγκεκριµένη τιµή, την εκτίµηση (Εκτίµηση = η τιµή του θ, από την οποία είναι πιο πιθανό να έχουν προέλθει τα δεδοµένα µου). L θɵ / x = max L (θ / x )

(

)

sup

θ ∈Θ

Παράδειγµα: Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή Bernoulli (θ). Να βρεθεί η ε.µ.π. του θ. Λύση: 1− x f ( x,θ ) = θ x (1 − θ ) , x = 0,1. v

L (θ ) = L (θ , x1 , x2 ,..., xv ) =

∏ f ( x ,θ ) = ∏θ (1 − θ ) x

i =1

1− x

= θ

∑ xi i =1

1− x (1 − θ )∑i =1 i =

i =1

∑ xi i =1

(1 − θ )

v−

∑ xi i =1

Παρατήρηση Η τιµή της θ, που µεγιστοποιεί την L (θ ) , µεγιστοποιεί επίσης και τη συνάρτηση l (θ ) = log L (θ ) (Λογαριθµική εκδοχή της πιθανοφάνειας – log likelihood) Χρησιµποιούµε την l (θ ) για ευκολία!

v  ∑ xi  v v   v − ∑ xi i = 1  l (θ ) = ln L (θ ) = ln  θ 1 − θ = x ln θ + v − x ( ) i =1 ∑ ∑ i i   ln (1 − θ )   i =1 i =1     ∂ ∂2 Για να έχουµε µέγιστο, θα πρέπει l (θ ) = 0 και l (θ ) < 0 ∂θ ∂θ 2 v

∑x

v  ∂ ∂  v   l (θ ) = x ln θ + v − xi  ln (1 − θ )  = ∑ ∑ i  ∂θ ∂θ  i =1 i =1    v

∑ xi i =1

−

∑ xi

v + i =1 = 1−θ 1−θ v

i =1

∑ xi − θ ∑ xi − vθ + θ ∑ xi v

∑ x − vθ = 0 ⇒ ∑ x i

i =1

θ (1 − θ )

(1 − θ ) ∑ xi − vθ + θ ∑ xi

i =1

v   1 +  v − ∑ xi  ( −1) = 1 − θ = 1 i  

∑ x − vθ i

i =1

θ (1 − θ )

=0⇒

= vθ ⇒

i =1

∑x

θɵ =

i =1

v Μέθοδος Εργασίας για την Εύρεση Ε.Μ.Π. Αν X 1 , X 2 ,…, X v είναι τ.δ. από κατανοµή µε σ.π.π. f ( xi ,θ ) i) Εύρεση συνάρτησης πιθανοφάνειας: L (θ ) = L (θ , x1 , x2 ,..., xv ) =

∏ f ( x ,θ ) = i

i =1

ii)

Μεγιστοποίηση της L (θ ) ως προς θ.

∂L (θ ) ∂l (θ ) ∂ =0 ή = ln  L (θ )  = 0 ∂θ ∂θ ∂θ  ∂ 2 L (θ ) ∂ 2l (θ ) iii) Για να είναι µέγιστο, πρέπει <0 ή <0 ∂θ 2 ∂θ 2 (Ισχύει για τις γνωστές κατανοµές)

θɵ είναι η τιµή για την οποία:

Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή Poisson (λ). Να βρεθεί λɵ , δηλ. εκτιµητής µέγιστης πιθανοφάνειας του λ. Λύση: f ( x, λ ) = e

−λ

λx x!

∏ e− λ

L ( λ ) = ∏ f ( xi , λ ) =

λx

xi !

i =1

∑ xi

e − vλ λ i =1

∏x !

i =1

l ( λ ) = ln L ( λ ) = ln

− vλ

∑ xi i =1

∏x !

= ln e

− vλ

+ ln λ

∑ xi i =1

− ln ∏ xi ! = i =1

i =1

−vλ + ∑ xi ln λ − ln ∏ xi ! v

∑ v v ∂l ( λ ) ∂   1 v = −vλ + ∑ xi ln λ − ln ∏ xi ! = −v + ∑ xi = 0 ⇒ λ = i =1  λ i =1 ∂λ ∂λ  v i =1 i =1  ∂ 2l ( λ ) ∂λ 2 λ =λɵ

 1 v  ∂  −v + ∑ xi  λ i =1  =  ∂λ

= −

∑x

λ2

=X.

1 v = − 2 ∑ xi < 0 λɵ i =1

i =1

λ =λɵ

λ =λɵ v

άρα είναι µέγιστο και όντως η λ =

∑x

i =1

= X είναι η Ε.Μ.Π. για το λ.

Παράδειγµα: Έστω X 1 , X 2 ,…, X v τ.δ. από γεωµετρική κατανοµή (p), δηλαδή f ( x, p ) = p (1 − p ) , x = 1, 2,... , 0 < p < 1 [ x είναι ο αριθµός των αποτυχιών µέχρι την 1η επιτυχία]. Να βρεθεί p , δηλ. ε.µ.π. για το p. x

Λύση: v

L ( p ) = ∏ f ( xi , λ ) = i =1

∏ p (1 − p )

xi = p (1 − p )∑ = i =1 v

i =1

v  xi  l ( p ) = ln L ( p ) = ln  p v (1 − p )∑ = v ln p + xi ln (1 − p ) i =1  ∑ i =1   v v ∂l ( λ ) ∂  1  v = v ln p + ∑ xi ln (1 − p )  = + ∑ xi ( −1) =  p i =1 1 − p ∂λ ∂λ  i =1  v v v 1 v v 1 v − xi ⇒ v − vp = p ∑ xi ⇒ p ∑ xi + vp = v ⇒ ∑ xi = 0 ⇒ p = 1 − p ∑ p 1 − p i=1 i =1 i =1 i =1 v

v v   ⇒ p= p  v + ∑ xi  = v ⇒ p = v i =1   v + ∑ xi i =1

∂ 2l ( p ) ∂λ 2 λ =λɵ

v 1 v  ∂ − xi  ∑ − p 1 p i =1  =  ∂p

= −

1 v

∑x

⇒ p=

1 1+ X

i =1

v − ( −1)1 v − ∑ xi p 2 (1 − p )2 i =1

= p = p

p = p

−

v v 1 − ∑ xi p 2 (1 − p )2 i =1

p =

< 0 , εφ’ όσον < v, ∑ xi > 0 άρα είναι µέγιστο και i =1

p = p

1 . 1+ X

Παρατήρηση: Εάν η συνάρτηση πιθανοφάνειας έχει s άγνωστες παραµέτρους θ = (θ1 ,θ 2 ,...,θ s ) , τότε η Ε.Μ.Π. του θ θα είναι το διάνυσµα των τ.µ. θɵ = θ ,θ ,...,θ για το οποίο µεγιστοποιείται η συνάρτηση πιθανοφάνειας

(

)

L (θ1 ,θ 2 ,...,θ s ) = f ( x1 , x2 ,..., xv ,θ1 ,θ 2 ,...,θ s ) Κάτω από ορισµένες συνθήκες οµαλότητας, το σηµείο που πεγιστοποιείται η L (θ ) , είναι η λύση ενός συστήµατος εξισώσεων , όλων των µερικών παραγώγων, αν αυτές τεθούν ίσες µε το µηδέν. ∂L (θ ) ∂l (θ ) =0 =0 ∂θ1 ∂θ1 ................. ισοδυναµεί µε ................. και, για να έχουµε µέγιστο, θα πρέπει ∂L (θ ) =0 ∂θ s

∂l (θ ) =0 ∂θ s

∂ 2 L (θ ) < 0, i = 1,2,..., s . ∂θi 2

Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από N ( µ = θ1 ,σ 2 = θ 2 ) . Να βρεθεί η ΕΜΠ για το θ = (θ1 ,θ 2 ) , θ1 ,θ 2 ∈ ℝ,θ 2 > 0 . Λύση: Θ = {(θ1 ,θ 2 ) : θ1 ,θ 2 ∈ ℝ,θ 2 > 0} Πιθανοφάνεια: 60

L (θ ) = L (θ1 ,θ 2 ) =

∏ f ( x ,θ ) = ∏ ( 2πθ ) 2

i =1

−

1 2

 ( xi − θ1 )2  exp − = θ 2 2  

 1 v 2 ⋅ exp − ( xi − θ1 )  ∑  2θ 2 i =1  v v  −  1 v 2  −  2 l (θ1 ,θ 2 ) = ln L (θ1 ,θ 2 ) = ln ( 2π ) 2 θ 2 exp  − x − θ ( ) ∑ i 1  =  2θ 2 i=1    v v v 1 2 − ln ( 2π ) − ln θ 2 − ( xi − θ1 ) ∑ 2 2 2θ 2 i=1 v 2

( 2π ) ⋅ θ 2 −

−

v 2

∂ ∂  v v 1 v 2 l (θ1 ,θ 2 )  = − ln 2 π − ln θ − ( ) ( xi − θ1 )  = ∑ 2  ∂θ1 ∂θ1  2 2 2θ 2 i =1  −

1 v ∂ 1 v 1 v 2 x − θ = − 2 x − θ − 1 = ( xi − θ1 ) = 0 ⇒ ∑ ( i 1) ∑ ( i 1 )( ) θ ∑ 2θ 2 i =1 ∂θ1 2θ 2 i =1 2 i =1 v

1 ( xi − θ1 ) = 0 ⇒ ∑ xi − ∑θ1 = 0 ⇒ v X − vθ1 = 0 ⇒ θ 1 = X = v ∑ xi (1) ∑ i =1 i =1 i =1 i =1 v

∂ ∂  v v 1 v 2 ln 2 ln l (θ1 ,θ 2 )  = − π − θ − ( ) ( xi − θ1 )  = ∑ 2  ∂θ 2 ∂θ 2  2 2 2θ 2 i =1 

και

v  1 1 v v 1 v 2 2 −  − 2  ∑ ( xi − θ1 ) = − x − θ1 ) = 0 ⇒ + 2 ∑( i 2θ 2 2θ 2 i =1 2θ 2  θ 2  2 i =1 2 1 v 1 v v 1 v 2 2 θ = x − X , x − θ = ⇒ x − θ = v ⇒ ( ) ( ) ∑ ∑ ∑ 2 i i 1 i 1 v i =1 2θ 2 2 i =1 2θ 2 θ 2 i =1 Η θ είναι αµερόληπτη εκτιµήτρια του θ , ενώ η θ δεν είναι αµερόληπτη εκτι−

(

µήτρια του θ 2 , καθ’ όσον αµερόληπτη εκτιµήτρια είναι η θ 2 =

( )

)

(

1 v ∑ xi − X v − 1 i=1

). 2

Είναι: E θ 1 = θ1 = µ και 2 v −1 v −1 2 1 v E θ 2 = E  ∑ xi − X  = θ2 = σ v v v  i =1  v −1 2 lim σ = σ 2 , δεν είναι αµερόληπτη εκτιµήτρια, αλλά ασυµπτω E θ 2 = lim v →∞ v →∞ v τικά αµερόληπτη και η εκτιµήτρια παραµένει συνεπής.

( ) ( )

(

)

∆υσκολίες µε τη µέθοδο µέγιστης πιθανοφάνειας Υπάρχει περίπτωση η παραγώγιση να δώσει ακρότατο το οποίο δεν είναι ολικό µέγιστο. ∆εν χρησιµοποιούµε πάντα τη µέθοδο παραγώγισης Ειδικά για πολυπαραµετρικά προβλήµατα αριθµητικές ή αλγοριθµικές µεθόδους. 61

Θεώρηµα: Εάν X 1 , X 2 ,…, X v τ.δ. από µονοπαραµετρική κατανοµή µε σ.π. (ή σ.π.π.) f ( x,θ ) , θɵ είναι Ε.Μ.Π. του θ και δ = δ ( x ) µια αποτελεσµατική εκτιµήτρια της παραµέτρου θ, τότε θɵ = δ .

Απόδειξη Αφού η δ = δ ( x ) είναι αποτελεσµατική, από το προηγούµενο θεώρηµα, µποv

ρούµε να γράψουµε:

∂

∑ ∂θ log f ( x ;θ ) = k ( v,θ ) δ ( x ) − θ  (1) . i

i =1

Συνάρτηση Πιθανοφάνειας: L (θ ) = ∏ f ( xi ;θ ) ⇒ v

l (θ ) = log L (θ ) = log ∏ f ( xi ;θ ) = i =1

i =1 v

∑ log f ( x ;θ ) ⇒ i

i =1

v ∂l (θ ) ∂ v ∂ = log f ( xi ;θ ) = ∑ log f ( xi ;θ ) και για να βρούµε τη θɵ , θέτου∑ ∂θ ∂θ i =1 i =1 ∂θ v ∂l (θ ) ∂ µε: = ∑ log f ( xi ;θ ) = 0 , οπότε από την (1) , ∂θ i =1 ∂θ v ∂ log f ( xi ;θ ) = k ( v,θ ) δ ( x ) − θ  = 0 ⇒ k ( v,θ ) δ ( x ) − θ  = 0 ∑ i =1 ∂θ και, επειδή k ( v,θ ) > 0 , θα πρέπει να ισχύει: δ ( x ) − θ = 0 ⇒ θ = δ ( x ) , ό.έ.δ. Έλεγχος ακρότατου:  ∂  ∂l (θ )    ∂ 2l (θ )   ∂  = = k v , θ  δ x − θ  = ( ) ( )       2     ∂θ θ θ θ ∂ ∂ ∂  θ =δ ( x )  θ =δ x  θ =δ ( x )  

{

}

( )

  k ( v,θ )  ' δ ( x ) − θ  + k ( v,θ ) δ ( x ) − θ  'θ =δ ( x ) =   k ( v,θ )  ' δ ( x ) − θ  + k ( v,θ )( −1) θ =δ ( x ) =  k ( v,θ )  ' δ ( x ) − δ ( x )  − k ( v,θ ) = −k v,θɵ < 0 , άρα το ακρότατο είναι µέγιστο και συνεπώς: θɵ = δ ( x )

( )

Προβλήµατα στην εύρεση Ε.Μ.Π. Έστω L (θ ) της µορφής (πιο περίεργη, όσο αυξάνει η διάσταση του θ) ∆εν χρησιµοποιείται πάντοτε η µέθοδος της παραγωγίσεως. Υπάρχει περίπτωση, µε τη µέθοδο της παραγωγίσεως, να πάρουµε είτε τοπικό µέγιστο είτε ελάχιστο. Γενικά, το καταλληλότερο θ είναι αυτό που µεγιστοποιεί την L (θ ) .

Παράδειγµα: Έστω X 1 , X 2 ,…, X v τ.δ. από οµοιόµορφη κατανοµή U ( a, β ) . Να βρεθούν Ε.Μ.Π. για τα α και β. 1 f ( x; a, β ) = I (a ≤ x ≤ β ) β −a 1ο βήµα Πιθανοφάνεια: v

 1  v 1 L ( a, β ) = ∏ f ( xi ; a, β ) = ∏ I (a ≤ x ≤ β ) =   ∏ I (a ≤ x ≤ β ) * β − a β − a i =1 i =1   i=1 ! Αν υπολογίσουµε παραγώγους ως προς α,β, και τις εξισώσουµε µε το 0, θα προκύψει ότι, τουλάχιστον ένα από τα α και β είναι άπειρο. Παρατηρούµε ότι: Το α πρέπει να είναι µικρότερο από όλες τις παρατηρήσεις ( a < X i ) και κατά v

( )

συνέπεια και από το ελάχιστο δειγµατικό X (1) , ενώ το β πρέπει να είναι µεγαλύτερο από όλες τις παρατηρήσεις ( β > X i ) και κατά συνέπεια και από το µέ-

( )

γιστο δειγµατικό X ( v )

Άρα η πιθανοφάνεια µεγαλώνει, όσο µικραίνει το β-α, δηλαδή αν πάρουµε την ελάχιστη δυνατή τιµή του β και τη µέγιστη δυνατή τιµή του α, δηλαδή β = x( v ) και aɵ = x(1) . Μικρότερο διάστηµα β − a = x( v ) − x(1) , άρα µέγιστη L ( a, β ) =

( X( ) − X( ) )

aɵ = min { X i } = X 1 ()  Άρα οι ζητούµενες Ε.Μ.Π. είναι:  = max { X } = X  β i (v) Παρατήρηση Οι Ε.Μ.Π. έχουν την ιδιότητα του Αναλλοίωτου (Invariance property). Αν θɵ είναι η Ε.Μ.Π. του θ, και u (θ ) είναι συνάρτηση του θ, µε µονότιµη αντίστροφή συνάρτηση, τότε η u θɵ είναι η Ε.Μ.Π. του u (θ ) .

()

π.χ. αν έχουν τ.δ. από κανονική κατανοµή (Ν(µ,σ2)) και ζητείται ο log (σ 2 ) , v

(

)

2 1 βρίσκουµε την Ε.Μ.Π. του σ 2 , δηλαδή σ 2 = ∑ xi − x και θέτουµε Ε.Μ.Π. v i =1 2 1 v log σ 2 = log  ∑ xi − x   v i =1  Παράδειγµα - Άσκηση: Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή µε αθροιστική συνάρτηση κατανοµής:

(

)

F ( x;θ ) = 1 −

α)

θ3

,x ≥θ > 0 x3 Να δειχθεί ότι: η δ = X (1) = min X i είναι Ε.Μ.Π. του θ και να βρεθεί η

κατανοµή της. β) Να βρεθεί σταθερά a ∈ ℝ , τέτοια ώστε: η δ1 = aX (1) να είναι αµερόληπτη εκτιµήτρια του θ. Είναι η δ1 συνεπής; Λύση: d d d  θ3  α) f ( x;θ ) = F ( x;θ ) = −θ 3 x −3 ) = ( −θ 3 ) ( −3) x −3−1 = ( 1 − 3  = dx dx  x  dx

θ3

, x ≥ θ > 0 , και επειδή το στήριγµα εξαρτάται από το θ, επισυνάπτεται η x4 δείκτρια συνάρτηση: 3

f ( x;θ ) = 3

θ3

I (θ < x < ∞ ) . x4 Πιθανοφάνεια: v

L (θ ) = ∏ f ( xi ,θ ) = i =1

3v θ 3v

θ3

i =1

∏3

I θ < x < ∞ ) = 3v θ 3v ∏ 4 (

1 I (θ < x < ∞ ) = xi 4

∏x

∏ I (θ < x < ∞ ) , η οποία µεγιστοποιείται, για αριθµητή µέγιστο, i

4 i =1

i =1

δηλαδή για θ = X (1) max L (θ ) =

3v X (1)3v v

∏x

i =1

Κατανοµή της T = X (1)

(

)

(

)

FT ( t ) = P (T ≤ t ) = P X (1) ≤ t = 1 − P X (1) > t = 1 − P ( X 1 , X 2 ,..., X v > t ) = 1 − P ( X 1 > t ) P ( X 2 > t ) ⋅ ⋅ ⋅ P ( X v > t ) = 1 −  P ( X > t )  = 1 − 1 − P ( X ≤ t )  = v

  θ 3  θ 3  θ 3v 1 − 1 − FX ( t )  = 1 − 1 − 1 − 3   = 1 −  3  = 1 − 3v t  t t    d d  θ 3v  3v d −3 v 3v −3v −1 fT ( t ) = FT ( t ) = )= 1 − 3v  = ( −θ ) ( t ) = ( −θ ) ( −3v ) ( t dt dt  t  dt v

3vθ 3v ,t ≥ θ . t 3v +1

∞

( ) ∫ tf

E (T ) = E X (1) =

β)

∞

θ 3v

( t ) dt = ∫ t 3v 3v+1 dt = t

∞

3vθ

∫θ t

dt =

∞

3vθ 3v  1 1  3vθ  1   1 −3 v +1  3vθ  t = =  3v −1 − 3v −1  = 3v −1    −3v + 1  ∞ θ  −3v + 1  t θ  −3v + 1 θ 3v 3v 3v 3vθ  1  3vθ  1  3v θ 3v ⋅ 3v −1 = ⋅θ  0 − 3v−1  =  − 3v−1  = −3v + 1  θ  −3v + 1  θ  3v − 1 θ 3v − 1 Βλέπουµε ότι το επίπεδο της µεροληψίας είναι ελάχιστο, αν το ν είναι αξιοσέβαστο, αλλά εξακολουθεί να υπάρχει. Ζητάµε α: δ1 = aX (1) αµερόληπτη εκτιµήτρια του θ. 3v

E (δ1 ) = E ( aT ) = θ , δηλαδή: aE (T ) = θ ⇒ a =

E (T )

θ 3v ⋅θ 3v − 1

3v − 1 3v

Για τη συνέπεια: Αφού έχουµε δείξει ότι E (δ1 ) = θ , δηλαδή αµερόληπτη, αρκεί ν.δ.ό. limV (δ1 ) = 0 v →∞

 3v − 1  V (δ1 ) = V ( aT ) = a V (T ) =   V (T ) (1)  3v  2

V (T ) = E (T 2 ) −  E (T )  (2) 2

∞

3vθ 3v dt 1  1  E (T ) = ∫ t FT ( t ) dt = ∫ t 3v +1 dt = 3vθ 3v ∫ 3v −1 = 3vθ 3v  t 3v −2  = t t − 3 v + 1 + 1 θ θ θ θ 2

∞

1  1 1  1  1 1  3v 3vθ − = 3 v θ −  = −3v + 2  ∞3v −2 θ 3v−2  −3v + 2  t 3v−2 t 3v−2 θ 3v

1  1  1 1 3v θ 3v 3v 2 3v 3vθ = ⋅ 3v − 2 = θ (3)  0 − 3v −2  = 3vθ 3v − 2 θ −3v + 2  3v − 2 θ 3v − 2 θ 3v − 2  3v

 3v − 1  (1)(2)(3) ⇒ V (δ1 ) =   V (T ) =  3v  2 2  3v − 1   3v 2  3v   θ − ⋅θ   =     3v   3v − 2  3v − 1  

{

}

2  3v − 1  2   E (T ) −  E (T )  =  3v  2 ( 3v − 1)  3v θ 2 − 9v 2θ 2  =  2 9v 2  3v − 2 3 v − 1 ( )  2 2 2 3v ( 3v − 1) 2 9v 2θ 2 3v − 1) 3v − 1) θ 2 − ( 3v − 2 ) 3vθ 2 ( ( 2 2 = θ −θ = = θ − 9v 2 ( 3v − 2 ) 9v 2 ( 3v − 2 ) 3v ( 3v − 2 ) 3v 2 2 2 ( 3v − 1)2 − ( 3v − 2 ) 3v  θ 2 θ2   = 9v − 6v + 1 − 9v + 6v  θ = ⇒ ( 3v − 2 ) 3v ( 3v − 2 ) 3v ( 3v − 2 ) 3v

  θ2 limV (δ1 ) = lim   = 0, v →∞ v →∞ ( 3v − 2 ) 3v   65

άρα η δ1 είναι συνεπής. Παράδειγµα – Άσκηση (∆εν θεωρείται εύκολη άσκηση): Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή µε  x3  f ( x ,θ ) = exp  −  , x ≥ 0,θ > 0 . θ  θ  Να δειχθεί ότι η εκτιµήτρια µέγιστης πιθανοφάνειας είναι αµερόληπτη και συνεπής. Λύση: v v  x3  3x 2 Πιθανοφάνεια: L (θ ) = f ( x,θ ) = ∏ f ( xi ,θ ) = ∏ i exp  − i  = i =1 i =1 θ  θ   3v v 2   1 v 3 x exp  v∏ i   − θ ∑ xi  θ i =1 = 1 i      3v v 2   1 v 3  l (θ ) = log L (θ ) = log  v ∏ xi  exp  − ∑ xi   =  θ i =1    θ i =1  v   3v v 2   3v  1 v  1 v 3  log  v ∏ xi  + log exp  − ∑ xi   = log  v  + log ∏ xi 2 − ∑ xi 3 = θ i=1 i =1  θ i=1    θ i =1  θ   v  3v  v 1 v 3 1 v 3 2 2 log  v  + ∑ log ( xi ) − ∑ xi = v log3 − v log θ + ∑ log ( xi ) − ∑ xi θ i =1 θ i =1 i =1  θ  i =1 v ∂l (θ ) ∂  1 v 3 v 1 v 3 2 = v log3 − v log + log x − x = − θ ( i ) θ ∑ i  θ + θ 2 ∑ xi = 0 ⇒ ∑ ∂θ ∂θ  i =1 i =1 i =1  3x 2

1 v 3 θ2 1 v 3 xi = ⇒ θ = ∑ xi ∑x = ⇒ v∑ θ 2 i =1 i θ v i =1 θ i =1 Ελέγχουµε αν πρόκειται για µέγιστο µε το πρόσηµο της β΄ παραγώγου: v ∂ 2l (θ ) ∂  ∂l (θ )  ∂  v 1 v 3 v −3 = − + 2 ∑ xi  = 2 + ( −2 )θ ∑ xi 3 =  = 2  ∂θ ∂θ  ∂θ  ∂θ  θ θ i =1  θ i =1 1

−

∑x

i =1

∂ l (θ ) = ∂θ 2 θ =θɵ 2

vθ

−

∑x

i =1

vθ − 2∑ xi 3

i =1 3

v 1 v 3 3 v x − 2 xi ∑  v ∑ i  ∑ xi i =1 =  i=1  3i =1 = 3 v ɵ 1 θ 3  v ∑ xi   i =1 

vθɵ − 2

∑x

i =1

− 2∑ xi 3 i =1

 1 x3 3 ∑ i  v  i=1  v

−v3 ∑ xi 3 i =1

 v 3  ∑ xi   i =1 

−v 3  v 3  ∑ xi   i =1 

< 0 . Άρα το ακρότατο που διαπιστώσαµε πριν, πρόκειται

1 3 για µέγιστο και εποµένως: θɵ = ∑ xi . v i =1 1 v  1  v  1 v E θɵ = E  ∑ xi 3  = E  ∑ xi 3  = ∑ E ( xi 3 ) (1)  v i =1  v  i =1  v i =1 ∞ x3 2 − 3 3 3x E ( xi ) = ∫ x e θ dx , το οποίο δεν είναι εύκολο να λυθεί.

()

−∞

Υπάρχει άλλος τρόπος µε τον οποίον θα µπορούσαµε να το βρούµε. Θέτουµε Y = x3 και προσπαθούµε να βρούµε την κατανοµή, τη µέση τιµή και διασπορά της; Κατανοµή του x 3 . Αρχικά βρίσκουµε την αθροιστική της Y = x3 στην αρχή:

( ) ( y)   ( y ) = dyd F  y  =

FY ( y ) = P (Y ≤ y ) = P ( x 3 ≤ y ) = P x ≤ 3 y = FX dF ( y ) dFY ( y ) d fY ( y ) = Y = = FX dy dy dy 2 − 3

3 y 2 − 3 3 θ

1 3 fY ( y ) = y y e 3 θ

⇒ fY ( y ) =

1 3

−

 13  1 − 32 fX  y  y  3

e ,

δηλαδή η Y = x3 ακολουθεί εκθετική κατανοµή µε παράµετρο θ (ή 1 Yi = xi 3 ~ Exp   . θ  Και εύκολα συµπεραίνουµε ότι: E [Y ] = θ = E ( x 3 ) 1 vn 1 ɵ   E θ = ∑ E ( x3 ) = vθ = θ , άρα αµερόληπτη.   v i =1 v v  1 Το άθροισµα ∑ xi 3 ~ Gamma  v,   θ i =1 όπου ν το πλήθος των εκθετικών που θα προσθέσουµε  v   v  E  ∑ Yi  = E  ∑ xi 3  = vθ (µέση τιµή της γάµµα)  i=1   i=1  Συνέπεια: 1 1 1 v 3  v 3 ɵ Var θ = Var  ∑ xi  = 2 Var  ∑ xi  = 2 Var (T )  v i =1  v  i =1  v

()

Var (T ) =

v 2

= vθ 2

1   θ  1 θ2 Var θɵ = 2 ⋅ vθ 2 = v v

()

θ limVar θɵ = lim = 0 , άρα είναι συνεπής. v →∞ v →∞ v

()

Μέθοδος των Ροπών (Method of Moments) Αν θέλουµε να εκτιµήσουµε s παραµέτρους, εξισώνουµε τις s πρώτες ροπές (περί το 0) πληθυσµού – δείγµατος. για s = 1 , εξισώνουµε το την πρώτη δειγµατική ροπή (δειγµατικό µέσο) µε τη ροπή του πληθυσµού, η οποία θα είναι συνάρτηση της παραµέτρου (ή και η ίδια η παράµετρος), οπότε µε αντίστροφη συνάρτηση παίρνουµε την εκτιµήτρια της 1 v παραµέτρου: ∑ X i = g (θ ) ⇒ θ = g −1 X v i =1 1 v M '1 = ∑ xi = x v i =1 1 v M '2 = ∑ xi 2 v i =1 . . 1 v s M 's = ∑ xi v i =1 και από την άλλη τις θεωρητικές και έχουµε: µ '1 = E ( X )

( )

µ '2 = E ( X 2 )

. .

µ 's = E ( X s )

∆ειγµατικές = θεωρητικές ροπές. Αν είναι π.χ. διωνυµική E ( X ) = vp (ν γνωστό) άρα εξετάζω το p. 1 v 2 Αν είναι περί το µ θα είναι M '2 = ∑ ( xi − µ ) (η διασπορά) v i =1 Απλά παραδείγµατα Άσκηση Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή Bernoulli (p) ( Bin (1, p ) ) . Να βρεθεί εκτιµήτρια του p, µε τη µέθοδο των ροπών. Λύση: 1− x f ( x, p ) = p x (1 − p ) , x = 0,1. M '1 = x, (δειγµατικ ή )   p = X Η πρώτη δειγµατική µε θεωρητική είναι περί µ '1 = p, (θεωρητικ ή )  την αρχή, ενώ τη δεύτερη µπορούµε να την πάρουµε περί το µέσο. Άσκηση Έστω X 1 , X 2 ,…, X v τ.δ. από κατανοµή Poisson (λ). 69

Να βρεθεί εκτιµήτρια του λ, µε τη µέθοδο των ροπών. Λύση: f ( x, λ ) = exp ( −λ )

λx x!

, x = 0,1, 2,...

M '1 = x  ɵ  λ=X. µ '1 = λ 

Ροπές θεωρητικές, περί το µέσο είναι µk = E ( x − µ ) και οι αντίστοιχες δειγµατικές είναι: M k =

(

)

k 1 v xi − x . ∑ v i =1

Άσκηση Έστω X 1 , X 2 ,…, X v τ.δ. από ∆ιωνυµική κατανοµή ( Bin ( n, p ) ) . Να βρεθεί εκτιµήτρια του p, µε τη µέθοδο των ροπών. Λύση: µ = E ( X ) = x ⇒ np = x (1)

(

)

(

)

2 2 1 v 1 v 2   σ = E ( x − µ ) = ∑ xi − x ⇒ np (1 − p ) = ∑ xi − x = M 2 ( 2 )   v i =1 v i =1 np x ∆ιαιρούµε τη (2) διά της (1): = ⇒ x (1 − p ) = M 2 ⇒ np (1 − p ) M 2 2

M M2 ⇒ p =1− 2 x x 2 x x x x (1) ⇒ n = = = = . p 1− M2 x − M2 x − M2 x x Παρατηρήσεις: α) Το n θα πρέπει να είναι ακέραιος. Άρα θα πάρουµε τον πλησιέστερο α1− p =

x κέραιο ή το ακέραιο µέρος της παράστασης . x − M2 M M2 β) Πρε΄πει να ισχύει 0 < p < 1 , άρα και 0 < 1 − 2 < 1 ⇒ <1⇒ M2 < x x x Αν αυτό δεν ισχύει τότε σηµαίνει ότι η διωνυµική κατανοµή δεν είναι καλό µοντέλο για την περιγραφή των δεδοµένων µας. Αν M 2 ≈ X η κατανοµή Poisson φαίνεται να είναι ένα κατάλληλο µοντέλο  E ( X ) = V ( X ) = λ 

Αν M 2 > X η αρνητική διωνυµική κατανοµή φαίνεται να είναι ένα κατάλληλο µοντέλο  E ( X ) < V ( X )  70

Αν M 2 >> X (overdispersion) µία µικτή κατανοµή Poisson (π.χ. άλλη το πρωί, άλλη το απόγευµα) φαίνεται να είναι ένα κατάλληλο µοντέλο. Η µέθοδος των ροπών είναι σαφώς πιο εύκολη, αλλά πιο ποιοτική είναι η µέθοδος της πιθανοφάνειας.