مقدمة في النحدار الخطي البسيط بفرض عينة عشوائية من الحجم nممثلة بأزواج المشاهدات } . {( x i , yi ); i = 1,2,..., nلعينات متكررة فإننا سوف نأخذ بالضبط قيم x ونتوقع تغير في قيم . yوعلى ذلك قيمة y iفي الزوج المرتب ) ( x i , y i تمثل قيمة لمتغير عشوائي . Yiأي أن النتيجة التي يأخذها Yiغير مؤكدة uncertainول يمكن السيطرة عليها بواسطة الباحث .سوف ُنعرف Y | xلتمثل متغير عشوائي Yيقابل قيمة ثابتة ، xونعرف متوسطة بالرمز µY| xوتباينه بالرمز . σ2Y| xمن الواضح أنه عندما x = x i فإن الرمز Y | x iيمثل المتغير العشوائي Yiبمتوسط µ Y| xوتباين σ2Y| x . i
أن النحدار الخطي البسيط يعني أن بمعادلة انحدار المجتمع التالية :
µY| x
i
ترتبط خطيا بـ x
µY| x = β0 + β1x
حيث معاملت النحدار , β0 , β1يمثلن معلمتين مطلوب تقديرهما من مشاهدات العينة حيث b 0تقدير للمعلمة β0و b1تقدير للمعلمة . β1 أي أننا نقدر µY| xبـ ˆ yمن انحدار العينه أو خط النحدار المقدر التالي : yˆ = b 0 + b1 x .
شكل النتشار السلوب المفيد لبدء تحليل النحدار هو تمثيل البيانات بيانيا وهو ما يعرف بشكل النتشار scatter plotوذلك من فئة المشاهدات . ( x i , y i), i = 1,2,..., nللحصول على شكل النتشار يخصص محور x )المحور الفقي( للمتغير للمستقل بينما يخصص محور ) yالمحور الرأسي ( للمتغير التابع .لكل زوج ) ( x , yمن أزواج المشاهدات التي عددها nنقوم بتوقيع نقطة على الرسم .تتوفر كثير من برامج الحاسب اللي الجاهزة والخاصة بالنحدار مثل برنامج SPSSو Statisticaو Minitabللحصول على أشكال النتشار .يفيد شكل النتشار فيما يلي :
}
{
) أ ( يوضح عموما فيما إذا كانت هناك علقة ظاهرة بين المتغيرين أم ل.
)ب( عند وجود علقة يوضح شكل النتشار فيما إذا كانت العلقة خطية أم ل . )ج ( إذا كانت العلقة خطية فإن شكل النتشار يوضح فيما إذا كانت سالبة )عكسية( أو موجبة )طرديه(. مثال في إحدى التجارب وزن قرون عدد من الغزلن المختلفة العمار وكانت النتائج كما هي معطاة في الجدول التالى .المطلوب رسم شكل النتشار وتحديد شكل العلقة بين المتغيرين . 70
69
55
53
46
43
42
34
30
22
20
0.49
0.48
0.40
0.35
0.30
0.25
0.26
0.20
0.15
0.1 0
0.0 8
العمر x الوزن
الحل يتضح من شكل التالى أن النقط عموما ،ليس بالضبط ،تقع على خط مستقيم .هذا يجعلنا نقترح أن العلقة بين المتغيرين يمكن وصفها ) كتقريب أولي( بمعادلة خط مستقيم .
y
نموذج النحدار الخطي البسيط في حالة الحنحدار الخطي البسيط حيث يوجد متغير مستقل واحد xومتغير تابع Y
}
{
فإن البياحنات تمثل بأزواج المشاهدات . ( x i , y i), i = 1,2,..., nسحنعرف كل متغير
عشوائي
Yi = Y | x i
كل المتوسطات
بحنموذج إحصائي Statistical modelوذلك تحت فرض أن
µ Y| x i
ذلك فإن كل متغير
Yi
تقع على خط مستقيم كما هو موضح في الشكل التالى .وعلى يمكن وصفه بحنموذج احنحدار بسيط كالتالي:
)(1-1 حيث المتغير
العشوائي εi
Yi = µ Y|xi + ε i = β 0 + β 1x i + ε i ,
،خطأ الحنموذج ،لبد أن يكون له متوسط يساوي صفر.
تشير المعلمة β1في نموذج النحدار )) (1-1والتي هي ميل خط النحدار( إلى التغير في متوسط التوزيع الحتمالي للمتغير التابع Yلكل وحدة زيادة في .xأما المعلمة β0فتمثل التقاطع الصادي لخط النحدار .وإذا احتوى مدى النموذج على القيمة x = 0فان β0تعطي متوسط التوزيع الحتمالي لمتغير Yعندما . x = 0وليس للمعلمة β0أي تفسير خاص بها كحد منفصل في نموذج النحدار إذا لم يتضمن مجاله القيمة . x = 0 يقال عن النموذج ) (1-1انه بسيط وخطي في المعالم وخطي في المتغير المستقل .فهو بسيط لنه يستخدم متغيرا مستقل واحدا فقط، وخطي في المعالم لنه ل تظهر أي معلمه كأس أو مضروبة بمعلمه أخرى ،وخطي في المتغير المستقل لن هذا المتغير ل يظهر إل مرفوعا للس الواحد .أيضا يعرف النموذج ) (1-1بالنموذج من الرتبة الولى والذي يختلف عن النموذج البسيط التالي: Yi = β0 + β1x 2 + εi
والذي يكون خطي في المعالم وغير خطي في المتغير المستقل لن هذا المتغير يظهر مرفوعا للس 2ويمثل نموذج خطي في المعالم ومن الرتبة الثانية في .x كل مشاهدة
) ( x i , yi
في عينة عشوائية من الحجم nتحقق العلقة : y i = β 0 + β1 x i + e *i
حيث e *iقيمة مفترضة للمتغير εiعندما Yiتأخذ القيمة . y iالمعادلة السابقة ينظر إليها كنموذج لمشاهده مفرده . y iبنفس الشكل ، باستخدام معادلة خط النحدار المقدرة فإن : yi = b 0 + b1x i + ei ,
حيث ei = yi − yˆiتسمى الباقي residualوالذي يصف خطأ في توفيق النموذج عند نقطة المشاهدة رقم . iالفرق بين e iو e*iو موضح في الشكل التالى .يوضح الشكل التالى الخط المقدر من فئة البيانات والمسمى yˆ =b 0 +b1xوخط النحدار الحقيقي . µY|x = β0 + β1xالن بالطبع β0 , β1معلمتين غير معلومتين .يعتبر الخط المقدر تقدير للخط . µY| xومما يجدر الشارة إليه أن e iيمكن ملحظتها ،أما e *iفل يمكن ملحظتها لن الخط µY| xمفترض وغير معروف.
فروض نموذج النحدار الخطي البسيط لتقدير معالم نموذج النحدار ) ( 1– 1توضع الفروض التالية لحد الخطأ εiوالمسماة فروض جاوس ـ ماركوف Gauss-Markov. E(εi ) = 0 , E (εi2 ) = σ2 , E (εi εj ) = 0 حيث i ≠ jلكل i, j =1,..., n
أي
أن εj , εi
غير مرتبطتين.
وعلى ذلك: E (Yi ) = β0 + β1 x i , Var(Yi ) = σ 2 .
هناك فروض أخرى نحتاج لها عند إجراء فترات ثقة واختبارات فروض تخص المعلمتين β0 , β1وهي أن εiيتبع التوزيع الطبيعي بمتوسط صفر وتباين ، σ2أي أن: εi ~ N (0, σ2 ) .
توزيع
εi
موضح في الشكل التالى .
طريقة المربعات الصغرى The method of least squares بالرغم من وجود العديد من الطرق للحصول على تقديرات للمعلمتين β0 ,β1إل أن أفضل هذه الطرق هي طريقة المربعات الصغرى .ترجع هذه الطريقة إلى عالم الرياضيات اللماني كارل فريدريكس جاوس . Carl Friedrich Gaussوبما أن الخط المطلوب يكون لغراض التنبؤ لذلك من المناسب أن يكون الخط من الدقة بحيث تكون أخطاء التقدير صغيرة .والمقصود هنا بأخطاء التقدير الفروق بين القيم المشاهدة y iوالقيم المناظرة ) yˆ iالبواقي(على الخط المستقيم .أي أن أخطاء التقدير هي . ( y i - yˆ i ) , i =1,2,..., nأخطاء التقدير موضحه في الشكل a bبأجزاء الخطوط الراسية التي تصل بين النقاط والخط المستقيم .النقطة الواقعة فوق الخط تعطي خطأ )باقي( موجب والنقطة الواقعة تحت الخط تعطي خطأ سالب .واحد n من الطرق لتقليل الخطاء هو جعل ) ∑ ( y i − yˆ iأقل ما يمكن ،ولكن i =1
n
جعل ) ∑ ( y i − yˆ iاقل i =1
ما يمكن ل يعني الحصول على توفيق جيد .ففي n
شكل aثلثة أخطاء واحد موجب والخرين سالبين حيث . ∑ ( y i − yˆ i ) = 0 في هذه الحالة بتقليل الخطأ فإننا حصلنا على توفيق يبدو جيد.
i =1
الن بالنظر إلى شكل bفإن خط النحدار أدى إلى جعل − yˆ ) = 0
n
∑ ( yiوبالرغم i =1
من ذلك يتضح أن التوفيق ردئ .الن ماذا يحدث n
عند إهمال الشارة وإيجاد الخط المقدر الذي يجعل ∑ y i − yˆ iأقل ما i =1
يمكن ؟ مرة أخرى لم نضمن أن الخط يمثل أفضل توفيق .في الشكل التالى يتضح أن الخط في ) (aأفضل من الخط في ) (bبالرغم من أن الخط في ) (bجعل
n
∑ y i − yˆ i
i =1
أقل من )(a
وعلى ذلك نجد أن استخدام القيم المطلقة ليس مناسبا في المعالجة الرياضية ولذلك فإن هذه الصعوبة يمكن تلفيها بأن نطلب أن يكون مجموع مربعات الخطاء صغيرا بقدر المكان .قيم المعالم هذه
التي تقلل إلى أقصى حد مجموع مربعات الخطاء تحدد ما يعرف بأفضل خط مستقيم يوفق النقاط المشاهدة من جهة نظر المربعات الصغرى .ومما يجدر الشارة إليه أن طريقة المربعات الصغرى لتوفيق خط مستقيم لمجموعه من النقاط يمكن تطبيقها سواء كانت قيم x حددت مسبقا أو تمثل قيم لمتغير عشوائي ،أي إذا كان المتغير المستقل والمتغير التابع يمثلن متغيرات عشوائية .وفي هذه الحالة تطبق طريقة المربعات الصغرى إذا تحقق الشرطان التاليان -: .1التوزيعات الشرطية للمتغيرات التابعة Yiعلما بأن x iمعطاة تمثل توزيعات طبيعية مستقلة لها متوسط شرطي β0 + β1x iوتباين شرطي . σ2 .2المتغيرات X iهي متغيرات عشوائية مستقلة وتوزيعها الحتمالي ) g( x iل يحتوي على المعالم . σ2 , β0 , β1 الن سوف نوضح طريقة المربعات الصغرى بالمثال التالي وبدون الدخول فى كيفية الحصول على تقديرات المربعات الصغرى مثال نفرض أنه تم دراسة العلقة بين مصاريف العلن لسلعة ما )£ x(000والمبيعات للسلعة ) m)Y£والبيانات موضحة في الجدول التالى. x y
x2
y
x
900 840 450 160 320 510 348 644 540 665 465 425 340 210 255
10000 11025 8100 6400 6400 7225 7569 8464 8100 9025 8649 7225 7225 4900 7225
9 8 5 2 4 6 4 7 6 7 5 5 4 3 3
100 105 90 80 80 85 87 92 90 95 93 85 85 70 85
7072
117532
78
ومن الجدول السابق يمكن حساب قيمة التالية :
1322
b 0 , b1
باتباع الخطوات
n
78 = 5.20 . 15
=
n
∑ yi
i =1
=y
n
1322 = 88.133 15
,
=
∑ xi
i =1
n
=x
حيث x, yيرمزان للوسط الحسابي للعينة للمتغير المستقل x والمتغير التابع Yعلى التوالي.
يمكن حساب
b1
كالتالى: SXY SXX
= b1
حيث:
2
) ( ∑x − i
,
, n ∑ x i ∑ yi n
SXX = ∑ x i2
SXY = ∑ x i yi −
b0 = y − b1x , لحساب
b 0 , b1
سوف نحسب القيم التالية: ∑ x i ∑ yi
n
(1322)( 78) = 197.6 15
SXY = ∑ x i y i − = 7072 −
2 ( ) ∑ xi −
n
= ∑ x i2
SXX
= 1019.73
(1322 ) 2 15
= 117532 −
SXY 197.6 = = 0.193776, SXX 1019.73 b 0 = y − b1x = 5.2 − ( 0.193776 )( 88.1333) = −11.8781. = b1
وعلى ذلك معادلة النحدار المقدرة سوف تكون : ˆ = −11.8781 + 0.19378 x y
أو بصورة بسيطة.. ˆ = −11.9 + 0.19 x. y
والموضحة بيانيا في الشكل التالى مع شكل النتشار.
وتسمى معادلة انحدار yعلى xوعلى ذلك عندما ننفق £ 75000 على العلن فإننا نرغب في التنبؤ بالمبيعات وذلك بوضع x=75 )باللف( في معادلة النحدار أي أن : yˆ = −11.8781 + ( 75)( 0.1938) = 2.6569 = £ 2656900 .
ماذا يعني هذا التنبؤ ؟ من الواضح أن هذا ل يعني أنة في كل مرة ننفق £ 75000على العلن سوف نبيع بالضبط 2656900£في الحقيقة فان التقدير للمبيعات يمثل قيمة متوسطة .عندما يتم إيجاد معادلة النحدار المقدرة من القيم المشاهدة لـ xوالتي تتراوح بين£ 70.000و £ 105000ثم نستخدم المعادلة المقدرة في حساب
مستوى المبيعات الناتج من إنفاق إعلنات قيمتها .75000£في هذه الحالة فان القيمة للمتغير المستقل في هذه الحالة تقع في مدى القيم المشاهدة وتسمى العملية في هذه الحالة تقع بين interpolationاو ) (.placing betweenالسؤال الن ماذا عن القيم المقدرة لمبيعات من إنفاق على العلنات يساوي :£ 120000 ˆ = −11.8781 + ( 0.1938)(120 ) = 11377900 . y
هنا استخدمنا قيمة لـ xخارج مدى القيم المشاهدة .تسمى العملية في هذه الحالة )تقع خارج placing outsideأو ) .extrapolatedكل التقديرين يتعرضان لخطأ ولكن التقدير الذي يقع خارج مدى القيم المشاهدة يكون أقل كفاءة من الذي يقع داخل مدى القيم المشاهدة. هذا يرجع لن داخل مدى القيم المشاهدة من xفإننا نعرف سلوك البيانات وكيف يمكن توفيق الخط المستقيم ,أما خارج مدى المشاهدات فل نعرف سلوك البيانات وفي هذه الحالة قد ل يكون الخط المستقيم توفيق جيد لتلك القيم من .xوالمثال على ذلك موضح في الشكللتالى والذي يجعلنا نتخذ الحذر عند الحصول على تقديرات خارج المدى لقيم .x
النحدار خلل نقطة الصل Regression through the orign
في كثير من التطبيقات يتطلب حذف β0من نموذج النحدار )،(1-1 أي أن الخط يمر خل ل . x=0 , y=0هذه الحالة تطبق عند تحليل البيانات في مجال الكيمياء أو في العمليات الصناعية .على سبيل المثال ,الستجابة في عمليه كيميائيه تساوي صفر عندما تشغل العملية عند درجة حرارة صفر .النموذج في هذه الحالة ل يكون له جزء مقطوع من المحور الرأسي yويأخذ الشكل التالي : Yi = β x i + ∈i .
)(1-2 نفرض أن لدينا nمن أزواج β0 = 0
المشاهدات ( x i , y i ) ; i = 1,2,..., n
وبما أن
وعلى ذلك تقدير المربعات الصغرى للميل هو: .
n ∑ x i yi i =1 n 2 ∑ xi i =1
= b1
ونموذج النحدار المقدر يأخذ الشكل التالي: yˆ = b1x .
مثال
فيما يلي عدد لوحات الطباعة لمخطوطه ) (xوالتكلفة الكلية بالدولر لتصحيح الخطاء المطبعية ) (yوذلك لعينه عشوائية من الطلبات الحديثة التي تعهدتها شركه متخصصة في مخطوطات تقنيه .وبما أن Y ينطوي على متغير تكاليف فقد رغب باحث في تحديد ما إذا كان نموذج النحدار عبر نقطه الصل ) ( 2 -1ملئما لدراسة العلقة بين المتغيرين. والبيانات معطاة في الجدول التالى .
xy
x2
642 300 1770 5832 11425 16200 11150 3500 1780 1910 2556 896
36 16 100 324 625 900 625 196 100 100 144 49
107 75 177 324 457 540 446 250 178 191 213 128
6 4 10 18 25 30 25 14 10 10 12 7
57961
3215
3086
171
الحـل من البيانات في الجدول السابق نحصل على: 57961 = 18.0283 . 3215
=
n ∑ x i yi i =1 n 2 ∑ xi i =1
y
x
= b1
ومعادلة النحدار المقدرة سوف تكون ˆ = 18.0283x , y
والممثله بيانيا في الشكل التالى مع شكل النتشار.
y 600 500 400 300 200 100 x
40
35
30
25
20
15
10
5
يتضح من الشكل السابق أن شكل النتشار يؤكد أن معادله النحدار المقدرة تمر بنقطة الصل. معامل التحديد للنموذج ) (1-1فإن معامل التحديد يأخذ الشكل التالي : .
− y) 2 − y) 2
ˆi ∑(y ∑ ( yi
= R2
فى حالة النموذج ) (2-1فإن معامل التحديد يأخذ الشكل التالي :
.
n 2 ˆi ∑y i =1 n 2 ∑ yi i =1
= R 02
الحصاء R 02يوضح نسبة الختلف )التغير( حول نقطه الصل )) 0,0والناتج من النحدار. تحت فرض العتدال لحد الخطأ فإن يمكن الحصول على فترات ثقة وفترات تنبؤ واختبارات فروض لنموذج النحدار الذي ل يحتوي على الجزء المقطوع .