اﺧﺗﯾﺎرأﻓﺿل ﻧﻣوذج إﻧﺣدار Selecting the Best Regression Model
ﻣﻘدﻣــﮫ ﻻﺧﺗﯾ ﺎر أﻓﺿ ل ﻧﻣ وذج إﻧﺣ دار ﻟﻠﻣﺗﻐﯾ ر اﻟﺗ ﺎﺑﻊ وﻣﺟﻣوﻋ ﺔ اﻟﻣﺗﻐﯾ رات اﻟﻣﺳ ﺗﻘﻠﺔ x 1 , x 2 ,..., x kﯾﺗم اﺧﺗﯾﺎر اﻟﻣﺗﻐﯾرات اﻟﻣﺳﺗﻘﻠﺔ اﻷﻛﺛر ﺗﺄﺛﯾرا ً ﻋﻠﻰ اﻟﻣﺗﻐﯾ ر اﻟﺗ ﺎﺑﻊ .Y وھﻧﺎك ﺑﻌض اﻵراء ﻓﻲ ھذا اﻟﻣﺟﺎل ﻣﻧﮭﺎ: -١ﻣﺣﺎوﻟﺔ إدﺧﺎل أﻛﺑر ﻋدد ﻣﻣﻛن ﻣن اﻟﻣﺗﻐﯾ رات اﻟﻣﺳ ﺗﻘﻠﮫ ﻓ ﻲ ﻧﻣ وذج اﻹﻧﺣ دار ﺣﺗﻰ ﺗﻛون اﻟﻘﯾم اﻟﻣﺗﻧﺑﺄ ﺑﮭﺎ ﻟﻠﻣﺗﻐﯾر اﻟﺗﺎﺑﻊ Yاﻛﺛر دﻗﺔ. -٢ﻣﺣﺎوﻟﺔ إدﺧﺎل أﻗل ﻋ دد ﻣﻣﻛ ن ﻣ ن اﻟﻣﺗﻐﯾ رات اﻟﻣﺳ ﺗﻘﻠﺔ ﻓ ﻲ ﻧﻣ وذج اﻹﻧﺣ دار ﺣﯾث أن اﻟﺣﺻول ﻋﻠﻰ ﻣﻌﻠوﻣﺎت ﻋن ﻋدد ﻛﺑﯾر ﻣن اﻟﻣﺗﻐﯾرات ﻗد ﯾﻛون أﻛﺛر ﺗﻛﻠﻔﺔ. وﺑﯾن ھذه اﻵراء ﯾﻛ ون ﻣوﺿ وع " اﺧﺗﯾ ﺎر أﻓﺿ ل ﻧﻣ وذج إﻧﺣ دار" .وﺳ ﻧﻌرض اﻵن ﺑﻌض اﻷﺳﺎﻟﯾب اﻟﺗﻲ ﺗﺳﺎﻋد ﻓﻲ ھذا اﻻﺧﺗﯾﺎر ﻣ ﻊ ﻣﻼﺣظ ﺔ أن ھ ذه اﻷﺳ ﺎﻟﯾب ﻗ د ﻻﺗﻌطﻲ ﻧﻔس اﻟﻧﺗﺎﺋﺞ ﺑﺎﻟﻧﺳﺑﺔ ﻟﻣﺷﻛﻠﺔ ﻣﻌﯾﻧﺔ. أ -طرﯾﻘﺔ ﻛل اﻻﻧﺣدارات اﻟﻣﻣﻛﻧﮫ. All possible regressions
ب -طرﯾﻘﺔ اﻟﺣذف اﻟﺧﻠﻔﻲ )اﻟﻌﻛﺳﻲ(. The backward elimination procedure
ج -طرﯾﻘﺔ اﻻﺧﺗﯾﺎر اﻻﻣﺎﻣﻲ )اﻟﻣﺑﺎﺷر(. The forward selection procedure
د -طرﯾﻘﺔ اﻻﺧﺗﯾﺎر اﻟﺗدرﯾﺟﻲ . The stepwise selection procedure .
وﺳوف ﻧﻘﺗﺻر ﻫﻧﺎ ﻋﻠﻰ طرﯾﻘﺔ طرﯾﻘﺔ اﻻﺧﺗﯾﺎر اﻻﻣﺎﻣﻲ )اﻟﻣﺑﺎﺷر( .
طرﯾﻘﺔاﻻﺧﺗﯾﺎراﻻﻣﺎﻣﻲ )اﻟﻣﺑﺎﺷر(
ﺣﯾ ث ﻧ دﺧل اﻟﻣﺗﻐﯾ رات ﺑﺎﻟﺗ درﯾﺞ ﺣﺗ ﻰ ﻧﺣﺻ ل ﻋﻠ ﻰ أﻓﺿ ل ﻧﻣ وذج إﻧﺣ دار وطرﯾﻘﺔ اﻹدﺧﺎل ﺗﺗﺣ دد ﺑﺈﺳ ﺗﺧدام ﻣﻌﺎﻣ ل اﻹرﺗﺑ ﺎط اﻟﺟزﺋ ﻲ وﻛﻠﻣ ﺎ أدﺧ ل ﻣﺗﻐﯾ ر اﻟ ﻰ ﻧﻣوذج اﻹﻧﺣدار ﯾﺗم إﺟراء اﻵﺗﻲ: ﺗﻘدﯾر ﻣﻌﺎﻣل اﻟﺗﺣدﯾد . R 2p إﺟراء اﺧﺗﺑﺎر tﻻﺧر ﻣﺗﻐﯾر أدﺧل ﻓﻲ ﻧﻣوذج اﻻﻧﺣ دار ﻟﻣﻌرﻓ ﺔ ﻣ ﺎ إذا ﻛ ﺎنھذا اﻟﻣﺗﻐﯾر أﺿﺎف ﺟزءا ً ﻣﻌﻧوﯾﺎ ً اﻟﻰ ﻣﺟﻣوع اﻟﻣرﺑﻌﺎت اﻟﻣﻔﺳرة ام ﻻ ؟ وﺑﻣﺟرد أن ﻧﺣﺻل ﻋﻠﻰ ﻗﯾﻣﺔ ﻟـ tﻵﺧر ﻣﺗﻐﯾر أدﺧل ﻓﻲ ﻧﻣوذج اﻹﻧﺣ دار ﻏﯾ ر ﻣﻌﻧوﯾﺔ ﯾﺗم ﺣذف ھذا اﻟﻣﺗﻐﯾر ﻣن ﻧﻣوذج اﻹﻧﺣدار وﺗﻧﺗﮭﻲ اﻟﻌﻣﻠﯾﺔ ﻋﻧد ذﻟك وﺳﺗطﺑق ھذه اﻟطرﯾﻘﺔ ﻋﻠﻰ اﻟﻣﺛﺎل اﻟﺗﺎﻟﻰ :
ﻣﺛﺎل ﺑﻔرض أن ﻟدﯾﻧﺎ ﻋﯾﻧـﻪ ﻣـن اﻟﺣﺟـم n = 17ﻣـن اﻟﻣﺷـﺎﻫدات ﻟﻘـﯾم ﻣﺗﻐﯾـر اﻻﺳـﺗﺟﺎﺑﺔ
Yﻣﻊ ﻣﺗﻐﯾرات ﻣﺳﺗﻘﻠﻪ ﻣرﺷﺣﻪ ﻋددﻫﺎ P-1 = 5واﻟﻣﻌطﺎﻩ ﻓﻲ اﻟﺟدول اﻟﺗﺎﻟﻰ.
y
x5
x4
x3
x2
x1
رﻗم اﻟﻣﺷﺎھدة
3067.00
52.00
129.00
21.00
7107.00
58.80
1
2828.00
68.00
141.00
22.00
6373.00
65.20
2
2891.00
29.00
153.00
22.00
6796.00
70.90
3
2994.00
23.00
166.00
20.00
9208.00
77.40
4
3082.00
40.00
193.00
25.00
14792.00
79.30
5
3898.00
14.00
189.00
23.00
14564.00
81.00
6
3502.00
96.00
175.00
20.00
11964.00
71.90
7
3060.00
94.00
186.00
23.00
13526.00
63.90
8
3211.00
54.00
190.00
20.00
12656.00
54.50
9
-٢-
3286.00
37.00
187.00
20.00
14119.00
39.50
10
3542.00
42.00
195.00
22.00
16691.00
44.50
11
3125.00
22.00
206.00
19.00
14571.00
43.60
12
3022.00
28.00
198.00
22.00
13619.00
56.00
13
2922.00
7.00
192.00
22.00
14575.00
46.70
14
3950.00
42.00
191.00
21.00
14556.00
73.00
15
4488.00
33.00
200.00
21.00
18573.00
78.90
16
3295.00
92.00
200.00
22.00
15618.00
79.40
17
اﻟﺧطوه اﻷوﻟﻰ: -١ﻧﺑ دأ ﺑﺈﯾﺟ ﺎد ﻣﺻ ﻔوﻓﺔ ﻣﻌ ﺎﻣﻼت اﻻرﺗﺑ ﺎط اﻟﺑﺳ ﯾطﺔ ﺑ ﯾن ﺟﻣﯾ ﻊ اﻟﻣﺗﻐﯾ رات اﻟﻣﺳﺗﻘﻠﮫ اﻟﻣرﺷﺣﮫ وﻣﺗﻐﯾر اﻻﺳﺗﺟﺎﺑﮫ Yواﻟﺗﻲ ﺗﻛون ﻋﻠﻰ اﻟﺷﻛل اﻟﺗﺎﻟﻲ:
y
x5
x4
x3
x2
x1
ry1
r15
r14
r13
r12
1
ry 2
r25
r24
r 23
1
ry 3
r32
r31
1
ry 4
r41
1
ry 5
1
x1 x2 x3 x4 x5 y
1
-٣-
ﻟﻠﻣﺛﺎل اﻟﺳﺎﺑق ﻓﺈن ﻣﺻﻔوﻓﺔ ﻣﻌﺎﻣﻼت اﻻرﺗﺑﺎط ھﻲ: y
x5
x4
x3
x2
x1
0.339
0.213
-0.115
0.387
-0.061
1
0.631
-0.111
0.918
0.106
1
-0.089
0.038
0.032
1
0.413
-0.159
1
-0.066
1
x1 x2 x3 x4 x5 y
1
ﻣن ﻣﻘﺎرﻧﺔ ﻣﻌﺎﻣﻼت اﻹرﺗﺑﺎط اﻟﺑﺳﯾطﺔ ﺑﯾن ﻣﺗﻐﯾر اﻹﺳﺗﺟﺎﺑﺔ ﻣﻊ ﻛ ل واﺣ د ﻣ ن اﻟﻣﺗﻐﯾ رات اﻟﻣﺳ ﺗﻘﻠﮫ )اﻟﻌﻣ ود اﻟﺧ ﺎﻣس( ﻧﺟ د أن أﻋﻠ ﻰ إرﺗﺑ ﺎط ﺑ ﯾن x2 , yﺣﯾ ث ry 2 0.631وﻋﻠﻰ ذﻟ ك ﻓ ﺈن اﻟﻣﺗﻐﯾ ر x2ھ و اﻟﻣﺗﻐﯾ ر اﻟﻣﺳ ﺗﻘل اﻷول اﻟ ذى ﯾرﺷ ﺢ ﻟﻠدﺧول ﻓﻲ ﻧﻣوذج اﻻﻧﺣدار .ﻣﻌﺎدﻟﺔ اﻻﻧﺣدار اﻟﻣﻘدره اﻟﻣﺣﺗوﯾﺔ ﻋﻠﻰ اﻟﻣﺗﻐﯾر x2ھﻲ: yˆ 2273.088 0.08x 2 -٢ﻧﺧﺗﺑر ﻣﻌﻧوﯾﺔ اﻟﻣﺗﻐﯾر x2وذﻟك ﺑﺈﺳﺗﺧدام ﻗﯾﻣﺔ tاﻟﻣﺣﺳوﺑﺔ واﻟﺧﺎﺻﺔ ﺑﺎﻟﻣﺗﻐﯾر x2 وھﻲ t=3.148ﻋﻧد ﻣﺳﺗوى ﻣﻌﻧوﯾﺔ 0.05وﺑﻣﺎ أن t 3.148ﺗزﯾد ﻋن
ﻗﯾﻣ ﺔ اﻟﺟدوﻟﯾ ﺔ ﺣﯾ ث t (15) 2.131
ﻓﮭ ذا ﯾﻌﻧ ﻲ أن اﻟﻣﺗﻐﯾ ر x2ﻟ ﮫ ﺗ ﺄﺛﯾر
0.025
ﻣﻌﻧ وي ﻋﻠ ﻰ اﻹﻧﺣ دار ﻟ ذﻟك ﻧﺛﺑ ت x2ﻓ ﻲ اﻟﻧﻣ وذج .ﻣﻌﺎﻣ ل اﻟﺗﺣدﯾ د R 22ھ و 0.398وھذا ﯾﻌﻧﻲ أن ﻣﻌﺎدﻟﺔ اﻹﻧﺣدار اﻟﻣﻘ دره اﻟﺗ ﻲ ﺣﺻ ﻠﻧﺎ ﻋﻠﯾﮭ ﺎ ﺗﻔﺳ ر 39% ﻣن اﻻﻧﺣراﻓﺎت اﻟﻛﻠﯾﮫ ﻓﻲ ﻗﯾﻣﺔ .Y اﻟﺧطوة اﻟﺛﺎﻧﯾﺔ: .١ﻧﺣﺳب ﻣﺻﻔوﻓﺔ ﻣﻌﺎﻣل اﻻرﺗﺑﺎط اﻟﺟزﺋﻲ ﻟﺑﻘﯾﺔ اﻟﻣﺗﻐﯾ رات اﻟﻐﯾ ر ﻣوﺟ وده ﻓ ﻲ ﻣﻌﺎدﻟﺔ اﻻﻧﺣ دار وھ ﻲ) (x1 , x3, x4 ,x5ﻣ ﻊ ﻣﺗﻐﯾ ر اﻻﺳ ﺗﺟﺎﺑﮫ Yﺑﺎﻋﺗﺑ ﺎر ان x 2ﺛﺎﺑت ﻟﻠﻣﺛﺎل ﻓﮭﻲ:
-٤-
y
x5
x4
x3
x1
0.487
0.208
-0.150
0.397
1
-0.202
0.050
-0.166
1
-0.541
-0.144
1
0.006
1
x1 x3 x4 x5 y
1
ﻧﺧﺗﺎر اﻛﺑر ﻣﻌﺎﻣل ارﺗﺑﺎط ﺟزﺋﻲ وھو ﻟﻠﻣﺗﻐﯾر x4ﺣﯾث ry 4.2 0.541
.٢ﻧﺣﺻل ﻋﻠﻰ ﻣﻌﺎدﻟﺔ اﻻﻧﺣدار اﻟﻣﻘدره اﻟﻣﺣﺗوﯾﮫ ﻋﻠﻰ اﻟﻣﺗﻐﯾرﯾﯾن x2 , x4وھﻲ: yˆ 4600.805 0.203x 2 21.567 x 4 . ﻧﺧﺗﺑر ﻣﻌﻧوﯾ ﺔ اﻟﻣﺗﻐﯾ ر اﻟﻣﺳ ﺗﻘل x4وذﻟ ك ﺑﺈﺳ ﺗﺧدام ﻗﯾﻣ ﺔ tاﻟﻣﺣﺳ وﺑﮫ ﻟﻠﻣﺗﻐﯾ ر x4 وھ ﻲ t = -2.408 :وﺑﻣ ﺎ أن t 2.408ﺗزﯾ د ﻋ ن ﻗﯾﻣ ﺔ tاﻟﺟدوﻟﯾ ﮫ
t (14) 2.145
ﻓﮭ ذا ﯾﻌﻧ ﻲ أن اﻟﻣﺗﻐﯾ ر x4ﻟ ﮫ ﺗ ﺄﺛﯾر ﻣﻌﻧ وي ﻋﻠ ﻰ اﻻﻧﺣ دار
0.025
ﻟذﻟك ﻧﺛﺑت x4ﻓﻲ اﻟﻧﻣوذج .ﻣﻌﺎﻣل اﻟﺗﺣدﯾد R 32 0.574وھ ذا ﯾﻌﻧ ﻲ ان ﻧﻣ وذج اﻻﻧﺣدار اﻟﻣﻘدر ﻓﻲ x2 , x4ﯾﻔﺳر 57.4%ﻣن اﻻﻧﺣراﻓﺎت اﻟﻛﻠﯾﺔ ﻓﻲ ﻗﯾم .Yأي أن ﻗﯾﻣﺗﮫ زادت ﻋن اﻟﺧطوة اﻟﺳﺎﺑﻘﺔ ،ﻣﻌﻧﻰ ذﻟك أن x4ﻗ د اﺿ ﺎف ﺟ زءا ً ﻣﻌﻧوﯾ ﺎ ً إﻟ ﻰ ﻣﺟﻣوع اﻟﻣرﺑﻌﺎت اﻟﻣﻔﺳرة. اﻟﺧطوة اﻟﺛﺎﻟﺛﺔ: ٠١ﯾﺗم ﺣﺳﺎب ﻣﺻﻔوﻓﺔ ﻣﻌﺎﻣل اﻹرﺗﺑﺎط اﻟﺟزﺋ ﻲ ﻟﺑﻘﯾ ﺔ اﻟﻣﺗﻐﯾ رات أي )(x1,x3,x5 ﻣﻊ ﻣﺗﻐﯾر اﻻﺳﺗﺟﺎﺑﺔ Yﺑﺎﻋﺗﺑﺎر x 2 , x 4ﺛﺎﺑﺗﺎن وھﻲ: y
x5
x3
x1
0.4888
0.1907
0.3815
1
-0.3513
0.0268
1
-0.0864
1
x1 x3 x5 y
1
ﻧﺧﺗﺎر اﻟﻣﺗﻐﯾر اﻟذي ﻟﮫ اﻋﻠﻰ ﻣﻌﺎﻣل ارﺗﺑﺎط ﺟزﺋﻲ .ﻟﻣﺛﺎﻟﻧ ﺎ ﻓ ﺈن اﻋﻠ ﻰ ﻣﻌﺎﻣ ل ارﺗﺑ ﺎط ﺟزﺋ ﻲ ﯾﻛ ون ﻟﻠﻣﺗﻐﯾ ر x1ﺣﯾ ث r y1 . 24 0 . 4888ﻧﺣﺻ ل ﻋﻠ ﻰ ﻣﻌﺎدﻟﺔ اﻻﻧﺣدار اﻟﻣﻘدره اﻟﻣﺣﺗوﯾﮫ ﻋﻠﻰ اﻟﻣﺗﻐﯾرات x1 , x2 , x4ﺣﯾث: -٥-
yˆ 3653.250 10.159x 1 0.192 x 2 19.089 x 4 . ٠٢ﻧﺧﺗﺑر ﻣﻌﻧوﯾﺔ اﻟﻣﺗﻐﯾر x1وذﻟك ﺑﺈﺳﺗﺧدام ﻗﯾﻣﺔ tاﻟﻣﺣﺳوﺑﮫ ﻟﻠﻣﺗﻐﯾر x1وھﻲ t = 2.02وﺑﻣﺎ أن t 2.02أﻗل ﻣن اﻟﻘﯾﻣﺔ tاﻟﺟدوﻟﯾﮫ ﺣﯾث t0.025(13)=2.16
وھذا ﯾﻌﻧﻲ أن x1ﻟﯾس ﻟﮫ ﺗﺎﺛﯾر ﻣﻌﻧوي ﻋﻠ ﻰ اﻻﻧﺣ دار .أي أن ﻣﺳ ﺎھﻣﺗﮫ ﻏﯾ ر ﻓﻌﺎﻟﮫ وﯾﺟب ﺣذﻓﮫ ﻣن ﻣﻌﺎدﻟ ﺔ اﻻﻧﺣ دار وﺑ ذﻟك ﺗﻧﺗﮭ ﻲ ﺧط وات ھ ذه اﻟطرﯾﻘ ﺔ وﺗﻛون اﻓﺿل ﻣﻌﺎدﻟﺔ إﻧﺣدار ھﻲ: yˆ 4600.805 0.203x 2 21.567 x 4
-٦-