∆ευέρα, 11 Ιανουαρίου 2010
ΕΛΕΓΧΟΙ ΥΠΟΘΕΣΕΩΝ (Hypothesis Testing) Μερικές φορές έχουµε να αντιµετωπίσουµε προβλήµατα όπως παρακάτω: ∆ιαδικασία µε δύο δυνατά αποτελέσµατα S1 και S2 , από τα οποία µόνο το ένα θα είναι σωστό (άγνωστο ποιο) και µας ενδιαφέρει να εντοπίσουµε το σωστο, χρησιµοποιώντας στατιστικά δεδοµένα, δηλ. δείγµα. π.χ. α.
Καλός ή κακός φοιτητής,
β.
Ελαττωµατικό ή όχι αντικείµενο,
γ.
αµερόληπτο ή µεροληπτικό νόµισµα.
Αντιµετώπιση Προβλήµατος Ο στατιστικός σχεδιάζει ένα πείραµα, έτσι ώστε κάποιο αποτέλεσµα ή ενδεχόµενο του πειράµατος να εµφανίζεται µε µεγάλη πιθανότητα ( S1 είναι σωστό) ή µικρή πιθανότητα ( S2 είναι σωστό) Γενικά, λοιπόν, µπορούµε να πάρουµε µετρήσεις σε κάποια µεταβλητή, της οποίας κάποιες τιµές αντιστοιχούν στο S1 και κάποιες στο S2 . π.χ. α.
η βαθµολογία των φοιτητών,
β.
τιµές από κάποια ποιοτικά κριτήρια,
γ.
ρίψεις νοµίσµατος.
Μέθοδος Εργασίας Στο πείραµά µας, τα αποτελέσµατα θα είναι οι τιµές κάποιας (ων) τυχαίας (ων) µεταβλητής (ών). Τα S1 και S2 θα αντιστοιχούν σε κάποιες κατανοµές πιθανότητας (π.χ. Bernoulli µε διαφορετικές πιθανότητες επιτυχίας τα S1 και S2 ). Μας ενδιαφέρει αν ένα νόµισµα είναι αµερόληπτο. Υποθέτουµε αρχικά ότι είναι αµερόληπτο. Παίρνουµε δεδοµένα από το πείραµά µας. (στο παράδειγµά µας ανεξάρτητη ρίψη του νοµίσµατος) και µε τα δεδοµένα του προβλήµατος, παίρνουµε απόφαση να απορρίψουµε ή όχι την αρχική υπόθεση.
1
Συµβολισµοί H0 :
Αρχική υπόθεση (Null Hypothesis, ή µηδενική υπόθεσις)
Καλά µελετηµένη και σηµειωµένη, ώστε τα δεδοµένα να µπορούν να την απορρίψουν ή να την επιβεβαιώσουν. H1 :
Εναλλακτική υπόθεση (Alternative Hypothesis)
Παράδειγµα Ελέγχουµε τη µεροληψία ενός κέρµατος. 1 1 1 1 3 , H1: p ≠ , ή H1: p > , H1: p < , H1: p > . 2 2 2 2 4 Π.χ. ρίχνουµε το νόµισµα n φορές και έστω:
H0:
p=
1,αν έλθεικορ ώνα Xi = 0,αν έλθει γρ άµµατα , i = 1,2,..., n
Έστω P ( X i = 1) = p . Κάθε µια είναι ανεξάρτητη δοκιµή Bernoulli. P ( X i = 0 ) = 1 − p, p ∈ {0,1} ανεξάρτητη δοκιµή Bernoulli H0 : p =
1 το νόµισµα είναι αµερόληπτο 2
H1 : p ≠
1 το νόµισµα είναι µεροληπτικό 2
Παρατήρηση: Η H 0 καθορίζει πλήρως την κατανοµή των δεδοµένων 1 Bernoulli p = και καλείται απλή υπόθεση, ενώ η H1 δεν καθορίζει πλή 2 ρως την κατανοµή των δεδοµένων και καλείται σύνθετη.
Γενικά έχουµε υποθέσεις: H 0 : θ ∈ Θ0 H1 : θ ∈ Θ1
Αν το Θ0 (ή το Θ1 ) αποτελείται από ένα ακριβώς στοιχείο, καλείται απλή, αλλιώς ονοµάζεται σύνθετη. Παράδειγµα: H0 : p =
1 2
H1 : p ≠
1 , απλή έναντι απλής. 2 2
∆είγµα µεγέθους n Η πιθανότητα να παρατηρείται το συγκεκριµένο δείγµα είναι η από κοινού πιθανότητα του τυχαίου δείγµατος: P ( X 1 = x1 , X 2 = x2 ,..., X n = xn ) = n
p ⋅ (1 − p ) ⋅ p ⋅ (1 − p ) κριµένη σειρά) x1
1− x1
x2
1− x2
⋅ ⋅ ⋅ p ⋅ (1 − p )
1− xn
xn
= p
∑ xi i =1
n
⋅ (1 − p )
n−
∑ xi (µε συγκεi =1
n
Αυτή η πιθανότητα εξαρτάται µόνο από το S = ∑ xi , το οποίο (ως γνωστό) ακολουθεί τη διωνυµική κατανοµή ( n, p ) .
i =1
Εµάς µας ενδιαφέρει όχι η σειρά εµφανίσεως των ενδείξεων «κορώνα» ή «γράµµατα», αλλά ο συνολικός αριθµός αυτών. Παράδειγµα: 6 S = 1 , τότε υπάρχουν διάφορα δυνατά δείγµατα, ώστε S = 1 : δυνατά δείγ1 µατα, δηλαδή οι µεταθέσεις του διανύσµατος (1,0,0,0,0,0). 1 S 1 6−S 1 6 1 = p = 2 2 2 2 P ( X 1 = x1 , X 2 = x2 ,..., X n = xn ) = S 6− S 5 3 3 1 3 1 = = p 4 4 4 4 4 6 6 6− S 6 −1 5 ή P ( S ) = p S ⋅ (1 − p ) = p1 ⋅ (1 − p ) = 6 p ⋅ (1 − p ) S 1
Έτσι µπορούµε για όλα τα δυνατά S , ( S = 0,1,...,6 ) να κατασκευάσουµε τον παρακάτω πίνακα:
3
S
H0 : p =
0
1
1
6
2
15
3
20
4
15
5
6
6
1
64 64
1
= 0,09375
18
64 64
64
H1 : p =
= 0,015625
64
64
1 2
4096
540
= 0,3125
= 0,000244
4096
= 0, 234375 135
= 0,004395
4096 4096
= 0, 234375 1215
= 0,09375
1458
= 0,015625
729
3 4
= 0,032959 = 0,131836
4096 4096
4096
= 0,296631 = 0,355957
= 0,177979
από τον οποίο συµπεραίνουµε ότι για S = 0,1, 2,3 έχουµε: H 0 > H1 και για S = 4,5,6 έχουµε: H 0 < H1 . Συµπέρασµα: Αν S = 0,1, 2,3 δεν µπορούµε να απορρίψουµε την H 0 , έναντι της H1 . Το σύνολο τιµών της S , {4,5,6} για τις οποίες η H 0 απορρίπτεται έναντι της H1 , λέγεται Κριτήριο που βασίζεται στην πιθανοφάνεια των δεδοµένων, κάτω από τις δύο υποθέσεις. Απορρίπτουµε την H 0 , αν S = 0,1, 2,3 . Η περιοχή C = {4,5,6} ονοµάζεται κρίσιµη περιοχή ή περιοχή απόρριψης του ελέγχου ή κριτηρίου (critical region). Πιθανότητα λάθους ενός τέτοιου κριτηρίου ή Πιθανότητα Σφάλµατος. 1 P ( S = 4,5,6 | H 0 αληθ ής ) = P S = 4 ή S = 5 ή S = 6 | p = = 2 1 1 1 15 6 1 P S = 4 | p = + P S = 5 | p = + P S = 6 | p = = + + = 2 2 2 64 64 64 22 = 0,34375 64
4
Η πιθανότητα να απορρίψουµε την H 0 , δεδοµένου ότι αυτή είναι αληθής, ονοµάζεται πιθανότητα σφάλµατος τύπου Ι. P (απ όρ . Η 0 | Η 0 αληθ ής ) = a ενώ Η πιθανότητα να µην απορρίψουµε την H 0 , δεδοµένου ότι η H1 είναι αληθής, ονοµάζεται πιθανότητα σφάλµατος τύπου ΙΙ. P ( µηαπ όρ . Η 0 | Η1 αληθ ής ) = β ∆εν ισχύει β=1-α. Συνοπτικά: Απόφαση \ αλήθεια
Η0 αληθής
Απόρριψη Η0
Η1 αληθής
Σ.τ. Ι
√
√
Σ.τ. ΙΙ
Μη απόρριψη Η0
Στο προηγούµενο παράδειγµα, η πιθανότητα σφάλµατος τύπου Ι είναι: P (απορρ . Η 0 | H 0 αληθ ής ) = P ( k = 4,5,6 | H 0 αληθ ής ) = 15 6 1 22 + + = = 0,34375 64 64 64 64
ενώ η πιθανότητα σφάλµατος τύπου ΙΙ είναι:
P ( µηαπ όρ Η 0 | Η1 αληθ ής ) = P ( S = 0,1,2,3 | Η1 αληθ ής ) = 1 18 135 540 694 + + + = = 0,169434 4096 4096 4096 4096 4096 Π.χ. Έστω X i ~ N ( µ ,σ i .i . d
2
)
Κρίσιµη Περιοχή Σφάλµα τύπου ΙΙ
Σφάλµα τύπου Ι
H 0 : µ = 50 H1 : µ = 55
α 50 H 0 ← C → H1
55
Για έναν έλεγχο υποθέσεων υπάρχουν πολλά διαφορετικά κριτήρια που θα µπορούσαµε να χρησιµοποιήσουµε. 5
Επιθυµητό θα ήταν ένα κριτήριο που θα ελαχιστοποιεί την πιθανότητα σφαλµάτων τύπου Ι και ΙΙ.
•
∆υστυχώς και οι δύο πιθανότητες σφάλµατος δεν ελέγχονται ταυτόχρονα για δεδοµένο µέγεθος δείγµατος, οπότε κρατάµε τη µία σταθερά και πάµε να ελαχιστοποιήσουµε την άλλη. Συνήθως προκαθορίζουµε την πιθανότητα σφάλµατος τύπου Ι και προσπαθούµε να βρούµε το κριτήριο που ελαχιστοποιεί την πιθανότητα σφάλµατος τύπου ΙΙ. Ορισµός: Ένα κριτήριο, το οποίο καθορίζει ότι ένα υποσύνολο C του ∆ειγµατικού Χώρου, τέτοιο ώστε αν X = ( X 1 , X 2 ,..., X v ) ∈ C απορρίπτει την H 0 έναντι της H1 , διαφορετικά δεν την απορρίπτουµε, καλείται Έλεγχος της H 0 ως προς την H1 και η περιοχή C καλείται Κρίσιµη Περιοχή του ελέγχου.
Ορισµός: Ένας Έλεγχος της H 0 : θ ∈Θ0 κατά της H1 : θ ∈Θ1 θα λέµε ότι έχει µέγεθος α ( 0 ≤ a ≤ 1) , αν sup Pθ (απορρ .H 0 ) = α = sup Pθ ( C ) θ ∈Θ0
θ ∈Θ0
Pθ ( C ) ≤ a, ∀θ ∈Θ Επίπεδο Σηµανικότητας Ελέγχου.
Παρατήρηση: Σε πολλά προβλήµατα, το µέγεθος α δεν επιτυγχάνεται. Τότε, αν Pθ ( C ) ≤ a για όλα θ ∈Θ0 , το α καλείται επίπεδο στατιστικής σηµαντικότητας του ελέγχου (level of statistical significance). Το επίπεδο σηµαντικότητας είναι η πιθανότητα σφάλµατος τύπου Ι. Ορισµός: Η συνάρτηση Π (θ ) = Pθ ( aπορρΗ 0 ) = Pθ ( C | θ ) = Pθ ( C ) του θ, καλείται συνάρτηση ισχύος του ελέγχου. Παρατήρηση: Αν θ ∈Θ0 , τότε η Π (θ ) = P ( C | θ ∈Θ0 ) , δηλ. η πιθανότητα σφάλµατος τύπου Ι.
(
)
Αν θ ∈Θ1 , τότε η Π (θ ) = P ( C | θ ∈Θ1 ) = 1 − P C | θ ∈Θ1 = 1- Ρ(σφάλµα τύπου ΙΙ)= 1-β ή 6
Ρ(σφάλµα τύπου ΙΙ)= 1 − P ( C | θ ∈Θ1 ) = 1 − Π (θ ) θ ∈Θ1
Άσκηση: 1 1 Έστω X 1 , X 2 ,..., X v τ.δ. από κατανοµή Bin ( n = 10, p ) , p ∈ p : p = , p = . Η 2 4 1 1 απλή H 0 : p = απορρίπτεται έναντι της εναλλακτικής H1 : p = , εάν, παίρνο2 4 ντας µία παρατήρηση X 1 η παρατηρούµενη τιµή είναι µικρότερη ή ίση του 3.
Να βρεθούν: α)
η συνάρτηση ισχύος του ελέγχου
β)
η πιθανότητα σφάλµατος τύπου Ι και η πιθανότητα σφάλµατος τύπου ΙΙ.
Λύση: α)
Π ( p ) , όταν C = { X 1 : X 1 ≤ 3} .
Αλλά X 1 ~ Bin (10, p ) , άρα Π ( p ) = P ( C | p ) = P ( X 1 ≤ 3 | p ) = 10 x1 10− x1 p (1 − p ) x1 = 0 1 3
∑ x β)
P (σϕ .τ .Ι ) = Π ( p ) = . X
10 − X
10
3 1 10! 1 3 10 1 1 1 1 1 Αν p = , τότε Π p = = ∑ = ∑ = 2 2 X1 =1 X 1 2 2 x1 =0 (10 − x1 )! x1 ! 2 1 3 10! 1 10! 10! 10! 10! 1 90 720 = 10 + + + + = 10 1 + 10 + = 10 ∑ 2 6 2 x1 =0 (10 − x1 )! x1 ! 2 10!0! 9!1! 8!2! 7!3! 2 1 176 24 ⋅ 11 11 11 (1 + 10 + 45 + 120 ) = 10 = 10 = 6 = = 0,171875 210 2 2 2 64
X 10 − X 3 10 1 1 1 1 1 1 Αν p = , τότε P (σϕ .τ .ΙΙ ) = 1 − Π p = = 1 − ∑ 1 − = 4 4 4 X1 =1 X 1 4
3 3 10 1 3 10! 1 − ∑ = 1− ∑ X1 =1 X 1 4 4 x1 =0 x1 !(10 − x1 )! 10 3 x1 10! 3 1 1− ∑ = 4 x1 =0 x1 !(10 − x1 )! 3 X1
10
3 1− 4
10 − X1
1 4
x1
3 4
10 3 4 =
0 1 2 3 10! 10! 1 10! 10! 1 1 1 + + + = − − − − 0! 10 0 ! 3 1! 10 1 ! 3 2! 10 2 ! 3 3! 10 3 ! ( ) ( ) ( ) ( ) 3
7
10 10 10! 1 10! 1 3 10 10 ⋅ 9 10 ⋅ 9 ⋅ 8 3 10! 1 + 1 − 1 + + + = 1 − 1 + + = 3 2⋅9 6 ⋅ 27 9! 3 2!( 8 )! 9 3!( 7 )! 27 4 4 10 10 ⋅ 4 310 9 + 30 + 45 + 40 310 124 3 10 1 − 1 + + 5 + = = 1 − 10 = 1 − 10 3 9 4 9 4 9 4 38 ⋅ 31 310 4 ⋅ 31 1 − 10 2 = 1 − 9 = 1 − 0,775875 = 0, 234125 4 4 3
Έλεγχος Απλής Υποθέσεως H 0 Έναντι Απλής H1 . H 0 : θ = θ0 H1 : θ = θ1 N ( µ ,σ 2 )
Για την εύρεση βέλτιστου ελέγχου (best test), σταθεροποιούµε την πιθανότητα σφάλµατος τύπου Ι και ελαχιστοποιούµε την πιθανότητα σφάλµατος τύπου ΙΙ ή ισοδύναµα µεγιστοποιούµε τη συνάρτηση ισχύος για θ = θ1 , καθ’ όσον Π (θ1 ) = 1 − Π (σϕ .τ .ΙΙ ) (Ισχυρότατος έλεγχος). Ορισµός: Έστω ο έλεγχος H 0 : θ = θ 0 έναντι της H1 : θ = θ1 και έστω C µια κρίσιµη περιοχή µεγέθους α, δηλαδή ( P (σϕ .τ . Ι ) = a = P ( C / θ0 ) ) . Τότε η C είναι µια ισχυρότατη κρίσιµη περιοχή µεγέθους α, εάν για κάθε άλλη κ.π. µεγέθους α, (έστω D), θα έχουµε: Pr ( C / θ1 ) ≥ Pr ( D / θ1 )
8