∆ευτέρα, 18 Ιανουαρίου 2010. Παρατήρηση: Το Λήµµα Neyman – Pearson µπορεί να εφαρµοσθεί για ελέγχους απλής υποθέσεως έναντι απλής (πλήρως καθορισµένης κατανοµής κάτω από τις δύο υποθέσεις). Επίσης µπορεί να έχουµε κατανοµές που εξαρτώνται από παραπάνω από µία παραµέτρους. Ορισµός: Εάν ελέγχουµε την H 0 (θ = θ 0 ) (απλή) έναντι σύνθετης εναλλακτικής H1 , ένας έλεγχος καλείται οµοιόµορφα ισχυρότατος έλεγχος (Ο.Ι.Ε.), εάν είναι ισχυρότατος έναντι κάθε απλής εναλλακτικής, που περιέχεται στη σύνθετη. Παράδειγµα: Έστω X 1 , X 2 ,..., X n τυχαίο δείγµα από την κανονική κατανοµή N ( 0,θ ) ,θ > 0 . Να δειχθεί ότι υπάρχει Ο.Ι.Ε. σε επίπεδο στατιστικής σηµαντικότητας α, για τον έλεγχο H 0 : θ = θ 0 , έναντι της H1 : θ > θ 0 . Λύση: Έστω θ1 > θ 0 Εφαρµόζεται το Λήµµα Neyman – Pearson H 0 : θ = θ 0 , έναντι της H1 : θ > θ 0 Πιθανοφάνεια: L (θ ) = f ( x1 , x2 ,..., xn | θ ) =
n
∏ f ( x ;θ ) = i
i =1
n n ( xi − 0 )2 xi 2 − 2 2 exp πθ − = 2 πθ exp ) ∏ − = ( ) ( ∏ 2 θ i =1 i =1 2θ n 2 n ∑ xi − ( 2πθ ) 2 exp − i=1 . 2θ Από το Λήµµα Neyman – Pearson ζητάµε περιοχή απορρίψεως, τέτοια ώστε: L (θ 0 ) ≤ k , k > 0 , P (C | H 0 ) = a L (θ1 )
n
−
1 2
1
n 2 n ∑ xi − ( 2πθ0 ) 2 exp − i=1 2θ0 L (θ 0 ) = = n L (θ1 ) 2 x ∑ i n − ( 2πθ1 ) 2 exp − i=1 2θ1 n n 2 n −θ1 ∑ xi + θ 0 ∑ xi 2 2 θ1 i =1 i =1 = exp 2 θ θ θ 0 1 0 n 2
n n 2 x xi 2 ∑ ∑ i θ1 i =1 + i=1 = exp − 2θ1 θ0 2θ 0 n 2
n 2
(θ1 − θ 0 ) n 2 θ1 exp xi ≤ k ⇒ − ∑ 2 θ θ θ i =1 0 1 0 n 2
θ (θ − θ ) θ (θ − θ ) ln 1 − 1 0 ∑ xi 2 ≤ ln k ⇒ − 1 0 ∑ xi 2 ≤ ln k − ln 1 ⇒ 2θ 0θ1 i =1 2θ 0θ1 i =1 θ0 θ0 n 2θ θ n θ 2θ0θ1 n θ1 xi 2 ≥ − 0 1 ln k − ln 1 = ln − ln k = c . ∑ 2 θ 0 θ1 − θ 0 2 θ 0 θ1 − θ0 i =1 n
n
n Το σύνολο C = ( X 1 , X 2 ,..., X n ) : ∑ xi 2 ≥ c είναι η ισχυρότατη κρίσιµη περιοχή i =1 του ελέγχου H 0 : θ = θ 0 , έναντι της H1 : θ > θ 0 , για c, τέτοια ώστε: P (C | H 0 ) = a
n άρα P ∑ xi 2 ≥ c | H 0 = a i =1
(1)
Γνωρίζουµε ότι, αν X ~ N ( µ ,σ 2 ) ⇒ Z =
X −µ
σ
2
~ N ( 0,1) ⇒
2
n n X −µ X −µ 2 2 2 Z = ~ X(1) ⇒ ∑ Z = ∑ ~ X( n ) σ σ i =1 i =1 Στο παράδειγµα αυτό έχουµε: 2
n
X i ~ N ( 0,θ ) ⇒ Z =
Xi
θ
~ N ( 0,1) ⇒ Z 2 =
Xi
n 2 ∑ xi c i =1 Εποµένως η (1) γίνεται: P ≥ =a . θ θ0 0 2
θ
2
~ X(21) ⇒ Z 2 =
∑X i =1
θ
2 i
~ X(2n )
n
∑x
2
i
Κάτω από την H 0 : Y =
i =1
θ0
~ X(2n ) ,
c c P Y ≥ = a ⇒ = X(2n ) ( a ) ⇒ θ0 θ0 n
∑x
2
i
Y=
≥ X(2n ) ( a ) =
i =1
θ0
c
θ0
α
, πράγµα που δεν 0
Xn2,a
εξαρτάται από την εναλλακτική, αλλά µόνον από την αρχική θ0 .
! Η C είναι η κοινή ισχυρότατη κρίσιµη περιοχή για κάθε έλεγχο της H 0 : θ = θ 0 , έναντι της H1 : θ > θ 0 . Άρα ο έλεγχος είναι Ο.Ι.Ε. για τη σύνθετη εναλλακτική H1 : θ > θ 0
Παρατήρηση: ∆εν υπάρχουν πάντα Ο.Ι.Ε. Μάλιστα όταν H1 : θ ≠ θ 0 (αµφίπλευρος έλεγχος), συνήθως δεν υπάρχει Ο.Ι.Ε. Παράδειγµα: Έστω X 1 , X 2 ,..., X n τυχαίο δείγµα από την κανονική κατανοµή N (θ ,1) . Να δειχθεί ότι δεν υπάρχει Ο.Ι.Ε. σε επίπεδο στατιστικής σηµαντικότητας α, για τον έλεγχο H 0 : θ = θ 0 , έναντι της H1 : θ ≠ θ 0 . Λύση: Έστω θ1 ≠ θ 0 και k > 0 . Χρησιµοποιώντας το Λήµµα Neyman – Pearson, έχουµε: H 0 : θ = θ 0 , έναντι της H1 : θ > θ 0 Πιθανοφάνεια: L (θ ) = f ( x1 , x2 ,..., xn | θ ) =
n
∏ f ( x ;θ ) = i
i =1
n n ( xi − θ )2 ( xi − θ )2 − ( 2π ) exp − = ( 2π ) 2 ∏ exp − = ∏ 2 2 i =1 i =1 n 2 x − θ ( ) ∑ i n n 1 n − − 2 2 2 exp − = 2 π ( 2π ) 2 exp − i=1 ( ) ∑ ( xi − 2θ xi + θ ) . 2 2 i =1 Από το Λήµµα Neyman – Pearson ζητάµε περιοχή απορρίψεως, τέτοια ώστε: n
−
1 2
3
L (θ 0 ) ≤ k , k > 0 , P (C | H 0 ) = a L (θ1 )
1 n exp − ∑ ( xi 2 − 2θ 0 xi + θ0 2 ) L (θ 0 ) 2 i =1 = = n n 1 L (θ1 ) − ( 2π ) 2 exp − ∑ ( xi 2 − 2θ1xi + θ12 ) 2 i =1
( 2π )
−
n 2
n 1 n exp − ∑ ( xi 2 − 2θ 0 xi + θ0 2 ) − ∑ ( xi 2 − 2θ1 xi + θ12 ) = i =1 2 i =1 n n n n n n 1 2 2 2 exp − ∑ xi − ∑ 2θ 0 xi + ∑θ 0 − ∑ xi + ∑ 2θ1 xi − ∑θ12 = i =1 i =1 i =1 i =1 i =1 2 i =1 n n 1 2 exp − −2θ 0 ∑ xi + nθ 0 + 2θ1 ∑ xi − nθ12 = i =1 i =1 2 n n exp (θ 0 − θ1 ) ∑ xi + (θ12 − θ0 2 ) ≤ k ⇒ 2 i =1 n n (θ0 − θ1 ) ∑ xi + (θ12 − θ02 ) ≤ ln k (1) 2 i =1 n n θ 2 − θ02 ln k α) αν θ 0 < θ1 , τότε η (1) γίνεται: ∑ xi − 1 ⇒ ≥− θ θ θ θ 2 − − i =1 1 0 1 0 n
n
∑ x ≥ 2 (θ i
i =1
1 + θ0 ) −
c ln k = c ⇒ nX ≥ c ⇒ X ≥ n θ1 − θ 0
( 2)
σ2 X −µ Γνωρίζουµε ότι, αν X ~ N ( µ ,σ 2 ) ⇒ X ~ N µ , ⇒ Z = ~ N ( 0,1) σ n n Στο παράδειγµα αυτό έχουµε: X −θ 1 X i ~ N (θ ,1) ⇒ X ~ N θ , ⇒ Z = ~ N ( 0,1) 1 n n
c −θ X −θ ( 2 ) ⇒ 1 ≥ 1n ⇒ z ≥ c − θ n , άρα απορρίπτουµε την H 0 , σε n n n ε.σ.σ. α, αν z ≥ za .
4
n (θ1 − θ 0 ) ln k αν θ 0 > θ1 , τότε η (1) γίνεται: ∑ xi + ≤ ⇒ 2 (θ 0 − θ1 ) (θ 0 − θ1 ) i =1 2
n
β) n
n
∑ x ≤ 2 (θ i
1
+ θ0 ) −
i =1
2
ln k =c⇒ θ1 − θ 0
c −θ c X −θ nX ≤ c ⇒ X ≤ ⇒ ≤ n ⇒ z≤ c − θ n , άρα απορρίπτουµε 1 1 n n n n την H 0 , σε ε.σ.σ. α, αν z ≤ − za . n Το σύνολο C = ( X 1 , X 2 ,..., X n ) : ∑ xi 2 ≥ c είναι η ισχυρότατη κρίσιµη περιοχή i =1 του ελέγχου H 0 : θ = θ 0 , έναντι της H1 : θ > θ 0 , για c, τέτοια ώστε: P (C | H 0 ) = a
n 2 άρα P ∑ xi ≥ c | H 0 = a i =1
(1)
Γνωρίζουµε ότι, αν X ~ N ( µ ,σ 2 ) ⇒ Z =
X −µ
σ
2
~ N ( 0,1) ⇒
2
n n X −µ X −µ 2 2 2 Z = ~ X(1) ⇒ ∑ Z = ∑ ~ X( n ) σ σ i =1 i =1 Στο παράδειγµα αυτό έχουµε: 2
n
X i ~ N ( 0,θ ) ⇒ Z =
Xi
θ
~ N ( 0,1) ⇒ Z 2 =
Xi
θ
2
~ X(21) ⇒ Z 2 =
∑X i =1
θ
2 i
~ X(2n )
Εποµένως η (1) γίνεται: n 2 ∑ xi c P i =1 ≥ =a . θ0 θ0 n
∑x
2
α
i
Κάτω από την H 0 : Y =
i =1
θ0
~ X(2n ) ,
0
c c P Y ≥ = a ⇒ = X(2n ) ( a ) ⇒ θ0 θ0
5
Xn2,a
n
∑x
i
Y=
i =1
θ0
2
≥ X(2n ) ( a ) =
c
, πράγµα που δεν εξαρτάται από την εναλλακτική, αλλά
θ0 µόνον από την αρχική θ0 .
! Η περίπτωση (α) καθορίζει ισχυρότατη κρίσιµη περιοχή για τον έλεγχο της H 0 : θ = θ 0 , έναντι της H1 : θ = θ1 , αν θ1 > θ 0 και αντίστοιχα δίνει Ο.Ι.Ε. για τη σύνθετη εναλλακτική H1 : θ > θ 0 .
! Η περίπτωση (β) καθορίζει ισχυρότατο έλεγχο για τη H
: θ = θ 0 , έναντι της H1 : θ = θ1 , αν θ1 < θ 0 και Ο.Ι.Ε. για τη σύνθετη εναλλακτική H1 : θ < θ 0 0
Όµως, βάσει ορισµού, δεν υπάρχει Ο.Ι.Ε., για αµφίπλευρη εναλλακτική H1 : θ ≠ θ 0 . Το Λήµµα Neyman – Pearson δεν είναι δυνατό να χρησιµοποιηθεί για σύνθετες υποθέσεις. Όταν έχουµε σύνθετη εναλλακτική, η L (θ ∈ Θ1 ) δεν έχει συγκεκριµένο τύπο, άρα δεν µπορούµε να υπολογίσουµε το λόγο πιθανοφανειών. Τότε πηγείνουµε στο Γενικευµένο λόγο πιθανοφανειών. Γενικά i) Υπολογίζουµε τις µεγαλύτερες τιµές της πιθανοφάνειας κάτω από την H 0 και H1 L0 = sup L (θ0 ) , θ ∈Θ0
ii)
L1 = sup L (θ1 ) , θ ∈Θ1
(L
0
= L (θ0 ) ,αν η H 0 ε ίναιαπλ ή )
Υπολογίζουµε το γενικευµένο λόγο πιθανοφανειών
L0 . Στην πράξη L1
sup L (θ ) L (θ 0 ) L0 L θ ∈Θ0 παίρνουµε το λόγο = ή 0= κατά τα γνωστά. L sup L (θ ) L1 sup L (θ ) θ ∈Θ0 ∪Θ1
iii)
θ ∈Θ0 ∪Θ1
Η κρίσιµη περιοχή του ελέγχου προσδιορίζεται ως εξής: Για k > 0 L0 1) ≤ k , αν ( X 1 , X 2 ,..., X n ) ∈ C L L0 > k , αν ( X 1 , X 2 ,..., X n ) ∈C 2) L 3) P ( X 1 , X 2 ,..., X n ) ∈ C | H 0 = a 6
Παρατηρήσεις: 1) Οι έλεγχοι, που παίρνουµε µε χρήση του γενικευµένου λόγου πιθανοφανειών, δεν απαραίτητα Ο.Ι.Ε. 2) Όταν έχουµε περισσότερες από µία άγνωστες παραµέτρους, δεν είναι αυτονόητο πότε µια υπόθεση είναι απλή. π.χ. N ( µ ,σ 2 ) η H 0 : µ = µ0 (µόνο αν το σ 2 είναι γνωστό!)/ Σύνθετη , αυτό το σ 2 είναι άγνωστο, διότι τότε έχουµε θ 0 = ( µ ,σ 2 > 0 ) .
Όταν Θ = Θ0 ∪ Θ1 , τότε υπάρχουν τρόποι υπολογισµού του sup L = sup L (θ ) = sup L (θ ) = L (θ ) .
3)
θ ∈Θ0 ∪Θ1
θ ∈Θ
Έλεγχος για το µέσο µ της κανονικής κατανοµής, όταν το σ 2 είναι γνωστό. X 1 , X 2 ,..., X n ~ N ( µ ,σ 2 ) , σ 2 γνωστό. H 0 : µ = µ0 vs H 0 : µ ≠ µ0 n − 1 n 2 L0 = L ( µ0 ) = ( 2πσ 2 ) 2 exp − 2 ∑ ( xi − µ0 ) 2σ i =1 n 2 1 n 2 −2 = L = L sup L ( µ ) = L ( µ ) = ( 2πσ ) exp − 2 ∑ xi − µ µ∈ℝ 2σ i =1 n n 2 − ( 2πσ 2 ) 2 exp − 2σ1 2 ∑ xi − X i =1 L Απορρίπτουµε την H 0 , δηλαδή ( X 1 , X 2 ,..., X n ) ∈ C , αν 0 ≤ k ⇒ L n n − ( 2πσ 2 ) 2 exp − 2σ1 2 ∑ ( xi − µ0 )2 i =1 = n n 2 − ( 2πσ 2 ) 2 exp − 2σ1 2 ∑ xi − µ i =1
(
(
)
(
)
)
n 2 1 n 2 ≤ k ⇒ exp − 2 ∑ ( xi − µ0 ) − ∑ xi − µ i =1 2σ i =1 n n n n n 2 1 n − 2 ∑ xi 2 − ∑ 2 µ0 xi + ∑ µ0 2 − ∑ xi 2 + ∑ 2 xi X − ∑ X ≤ ln k ⇒ 2σ i =1 i =1 i =1 i =1 i =1 i =1
(
)
n n 2 1 2 − 2 −2 µ0 ∑ xi + nµ0 + 2 X ∑ xi − n X ≤ ln k ⇒ 2σ i =1 i =1 n 2 1 − 2 2 X − 2 µ0 ∑ xi + n µ0 2 − X ≤ ln k ⇒ 2σ i =1 2 1 2 ≥ − ln k ⇒ X − µ n X + n µ − X 2 2 0 0 2 2σ
(
(
)
(
)
)
(
)
(
2 X n X − 2 µ0 n X + n µ 0 2 − X
2
) ≥ −2σ
2
ln k ⇒ 7
2
(
2
)
2
2n X − 2nµ0 X + nµ0 2 − n X ≥ −2σ 2 ln k ⇒ n X − 2 µ0 X + µ0 2 ≥ −2σ 2 ln k ⇒
(
n X − µ0
)
2
(
≥ −2σ 2 ln k ⇒ X − µ0
2σ 2 ln k X − µ0 ≥ − = c' n όπου c ' τέτοιο ώστε:
(
)
2
≥−
2σ 2 ln k = c ή ισοδύναµα n
)
P ( C | H 0 ) = P X − µ0 ≥ c ' = a X −µ 0 c' c' P ≥ =a⇒ P z ≥ =a⇒ σ σ σ n n n c' c' z≥ ή z≤−
σ
σ
n n Απορρίπτουµε την H 0 για ακραίες θετικές ή αρνητικές τιµές της ελεγχοσυνάρ-
τησης z =
X − µ0
σ
n
Εποµένως απορρίπτουµε την H 0 σε ε.σ.σ. α, αν
X − µ0
σ
2
n
αν z ≥ za ή z ≤ − za . 2
2
8
= z ≥ za ή ισοδύναµα