تحليل الانحدار الأحادي البعد

من Arab MM*Stat
اذهب إلى: تصفح، ابحث

تحليل الانحدار الأحادي البعد,مثال للانحدار الخطي,مثال أخر للانحدار الخطي,مثال للانحدار الخطي ذو البعد الواحد , المثال التفاعلي للانحدار الخطي


H100.gif 11.2 تحليل الانحدار الأحادي البعد



تابع الانحدار الخطي الأحادي البعد


تابع الانحدار الخطي البسيط له الصيغة التالية :


\widehat{y_{i}}=b_{0}+b_{1}x_{i}\quad i=1,\ldots ,n


في هذه المعادلة : x_{i} تمثل القيم المشاهدة للمتغير العشوائي X (الثابت)

و b_{0} و b_{1} عناصر الانحدار المجهولة.


نحصل على القيم المشاهدة الفعلية y_{i}\,(i=1,\ldots ,n) بواسطة جمع البواقي \widehat{u_{i}} و \widehat{y_{i}} (نستطيع رؤية ذلك في الشكل البياني).


y_{i}=\widehat{y_{i}}+\widehat{u_{i}}=b_{0}+b_{1}x_{i}+\widehat{u_{i}}\qquad i=1,\ldots
,n


Folimg297.gif


عناصر الانحدار


عناصر تابع الانحدار الخطي البسيط له المعاني التالية :


  • b_{0} المعامل الثابت

يصف تقاطع خط الانحدار المطابق ومحور Y. وله نفس القيمة كالمتغير Y. عند هذه النقطة.

  • معامل ميل الانحدار b_{1} ويصف ميل خط الانحدار المطابق وهو يخبرنا كم عدد الوحدات للمتغير العشوائي Y

ستتغير اذا ازدادت قيمة المتغير X بواسطة وحدة واحدة.


تقدير عناصر الانحدار


لتقدير عناصر الانحدار يجب تحقق شرطين هاميين :


الشرط الأول


انحرافات قيم الانحدار المقدرة \widehat{y_{i}} عن القيم المشاهدة y_{i} ستكون بالمتوسط مساوية للصفر ذلك يعني:


\sum_{i=1}^{n}(y_{i}-\widehat{y_{i}})=\sum_{i=1}^{n}\widehat{u_{i}}=0

\bar{\hat{u}}=\frac{1}{n}\sum_{i=1}^{n}\widehat{u_{i}}=0



هذا الشرط كافي لخطوط انحدار غير متناهية وهي تلك التي تمر من خلال نقطة متوسطات العينة \bar{x}\;,\bar{y} نلاحظ العبارات فوق تتضمن Mmengjavaimg3828.gif لكل مشاهدة i

حللنا القيم المشاهدة Mmengjavaimg3622.gif لجزئين:

تابع الانحدار المقدر Mmengjavaimg3829.gif بمعنى: تقدير المتوسط الشرطي.

والبواقي المقدرة Mmengjavaimg3830.gif.


Folimg302.gif


الشرط الثاني


نبحث لأجل تابع الانحدار أن تباين البواقي المقدرة المطابقة:


{s^{2}}_{\hat{u}}=\frac{1}{n-2}\sum_{i=1}^{n}{(\widehat{u_{i}}-\bar{\hat{u}})}^{2}


صغير بالمقارنة مع كل خطوط الانحدار الممكنة الأخرى.

الشرط الأول:


\bar{\hat{u}}=0


يتضمن:


{s^{2}}_{\hat{u}}=\frac{1}{n-2}\sum_{i=1}^{n}{(\widehat{u_{i}}-0)}^{2}=\frac{1}{n-2}\sum_{i=1}^{n}{\widehat{u_{i}}}^{2}=\frac{1}{n-2}\sum_{i=1}^{n}{(y_{i}-\widehat{y_{i}})}^{2}


يصور الشرط الثاني في الشكل البياني التالي:


Folimg305.gif


المربعات المحسوبة في الشكل المطابقة للبواقي المربعة ويجب تصغير المساحة الاجمالية للمربعات حينئذ تدعى الطريقة المستخدمة لهذا التصغير بطريقة المربعات الصغرى.


تصغر طريقة المربعات الصغرى مجموع الانحرافات المربعة لقيم الانحدار عن القيم المشاهدة ( بواقي مجموع المربعات)



\sum_{i=1}^{n}{(y_{i}-\widehat{y_{i}})}^{2}\rightarrow min.\quad\mid \widehat{y_{i}}=b_{0}+b_{1}x_{i}


التابع المصغر له المتغيرين المجهولين b_{0} و b_{1}


S(b_{0},b_{1})=\sum_{i=1}^{n}{(y_{i}-b_{0}-b_{1}x_{i})}^{2}\rightarrow min

لايجاد التصغير الاشتقاقات الجزئية الأولى ونضعها مساوية للصفر:


\frac{\partial S(b_0,b_1)}{\partial b_0}=-2\sum_{i=1}^{n}(y_i-b_0-b_1x_i)\dot= 0

\frac{\partial S(b_0,b_1)}{\partial b_1}=-2\sum_{i=1}^{n}(y_i-b_0-b_1x_i)x_i\dot= 0


للتأكد اذا الحل له قيمة صغرى نطبق الاشتقاقات الجزئية الثانية:


\frac{{\partial}^2S(b_0,b_1)}{\partial {b_0}^2}=2n > 0

\frac{{\partial}^2S(b_0,b_1)}{\partial {b_1}^2}=2\sum_{i=1}^{n} {x_i}^2 > 0



لأن كلا الاشتقاقات الثانية موجبة تقود الاشتقاقات الأولى المساوية للصفر لما يدعى المعادلات الطبيعية ومنها يمكن حساب عناصر الانحدار المقدرة b_{0} و b_{1}

بحل هذه المعادلات:


n{\widehat{b_{0}}}+{\widehat{b_{1}}}\sum_{i=1}^{n}x_{i}=\sum_{i=1}{n}y_{i}

{\widehat{b_{0}}}\sum_{i=1}^{n}x_{i}+{\widehat{b_{1}}}\sum_{i=1}^{n}{x_{i}}^{2}=\sum_{i=1}^{n}x_{i}y_{i}



يمكن حل المعادلات الطبيعية بواسطة المتوسطات الخطية قاعدة كرامر:


{\widehat{b_{0}}}=\frac{\begin{vmatrix} \sum y_{i} & \sum x_{i} \\
\sum x_{i}y_{i} & \sum {x_{i}}^{2}\end{vmatrix}
}{\begin{vmatrix}n & \sum x_{i} \\
\sum x_{i} & \sum {x_{i}}^{2}\end{vmatrix}}=\frac{\sum y_{i}\sum {x_{i}}^{2}-\sum x_{i}\sum x_{i}y_{i}}{n\sum {x_{i}}^{2}-\sum x_{i}\sum x_{i}}

{\widehat{b_{1}}}=\frac{\begin{vmatrix}
n & \sum y_{i} \\
\sum x_{i} & \sum x_{i}y_{i}
\end{vmatrix}}
{\begin{vmatrix}
n & \sum x_{i} \\
\sum x_{i} & \sum {x_{i}}^{2}\end{vmatrix}
}=\frac{n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{n\sum {x_{i}}^{2}-\sum x_{i}\sum x_{i}}


بتقسيم المعادلات الأصلية بواسطة n نحصل على الصيغة البسيطة المناسبة لحساب عناصر الانحدار:


=\bar{y} {\widehat{b_{0}}}+{\widehat{b_{1}}}\bar{x}
=\overline{xy} {\widehat{b_{0}}}\bar{x}+{\widehat{b_{1}}}\bar{x^{2}}


لأجل المعاملات الثابتة المقدرة b_{0} نحصل:


b_{0}=\bar{y}-{\widehat{b_{1}}}\bar{x}


لأجل معامل الميل الخطي المقدر نحصل:


b_{1}


=\overline{xy} (\bar{y}-{\widehat{b_{1}}}\bar{x})\bar{x}+{\widehat{b_{1}}}\bar{x^{2}}
=\bar{xy}-\overline{x}\bar{y} {\widehat{b_{1}}}(\bar{x^{2}}-{\bar{x}}^{2})
=S_{XY} {\widehat{b_{1}}S_{X}}^{2}
=\frac{S_{XY}}{{S_{X}}^{2}} {\widehat{b_{1}}}



الخواص:


  • تباين العينة X أكبر من الصفر: {S_{X}}^{2}>0
  • من المعادلات الطبيعية البسيطة نرى أن

(\bar{x},\bar{y})\rightarrow für x_{i}=\bar{x} wird {\widehat{y_{i}}}=\bar{y}

{\widehat{y_{i}}}={\widehat{b_{0}}}+{\widehat{b_{1}}}x_{i}=\bar{y}+{\widehat{b_{1}}}(x_{i}-\bar{x})=\bar{y}


  • بتركيب النتائج من الارتباط وتحليل الانحدار من الممكن الحصول على معامل ميل الانحدار المقدر b_{1} كالتالي:


{\widehat{b_{1}}}=\frac{S_{xy}}{{S_{x}}^{2}},\quad r_{xy}=\frac{S_{xy}}{S_{x}S_{y}}

\Rightarrow {\widehat{b_{1}}}=r_{xy}\frac{S_{y}}{S_{x}}


الانحدار (y|x) الى x على y لا يطابق الانحدار (x|y) الى y على x!


{\widehat{b_{0}}}=\bar{y}-{\widehat{b_{1}}}\bar{x} {\widehat{b_{0}}}^{*}=\bar{x}-{\widehat{b_{1}}}^{*}\bar{y}
{\widehat{b_{1}}}=\frac{S_{XY}}{{S_{X}}^{2}} {\widehat{b_{1}}}^{*}=\frac{S_{XY}}{{S_{Y}}^{2}}



مثال:


X مخرجات الانتاج

Y وقت العمل

n دورات الانتاج في الشركة


i x_{i} y_{i} x_{i}y_{i} x_{i}^{2} y_{i}^{2} \widehat{y_{i}} \hat{u_{i}}
1 30 73 2,190 900 5,329 70 3
2 20 50 1,000 400 2,500 50 0
3 60 128 7,680 3,600 16,384 130 -2
4 80 170 1,360 6,400 28,900 170 0
5 40 87 3,480 1,600 7,569 90 -3
6 50 108 5,400 2,500 11,664 110 -2
7 60 135 8,100 3,600 18,225 130 5
8 30 69 2,070 900 4,761 70 -1
9 70 148 10,360 4,900 21,904 150 -2
10 60 132 72,920 3,600 17,424 130 2
\sum 500 1,100 61,800 28,400 134,660 1,100 0



حساب المتغيرات: متوسط العينة, تباين العينة, والانحراف المعياري للعينة:


\bar{x} = 50 s_{x}^{2} =3400/10=340 s_{x} =18,44
\bar{y} = 110 s_{x}^{2} =13660/10=13366 s_{y} =36,96


التباين المشترك البسيط ومعامل الارتباط البسيط يساوي:


s_{xy}=6800/10=680\quad \mbox{bzw.} \quad r_{xy}=680/(18,44\cdot36,96)=0,9977


من هذه القيم نحسب معاملات الانحدار المقدرة b_{0} و b_{1}:


{\widehat{b_{1}}}=680/340=2

{\widehat{b_{0}}}=110-2\cdot (50)=10


كنتيجة نحصل على خط الانحدار المقدر التالي:


{\widehat{y_{i}}}=10+2x_{i}


Folnode4 i 03.gif


Folnode4 i 04.gif



خاصة خط الانحدار:


عندما يتم تقدير خط الانحدار من المفيد معرفة كيف خط الانحدار يقرب البيانات المشاهدة ذلك يعني: ما هي جودة تقديم البيانات بواسطة خط الانحدار كيف نحسن تمثيل البيانات بواسطة خط الانحدار.

يدعى القياس الذي يصف نوعية التقديم بمعامل التحديد ويحسب بناء على تحليل التباين للمتغير المرتبط Y.

الأصغر هو مجموع البواقي المقدرة المربعة الأفضل هو نوعية خط الانحدار حيث المربعات الأقل تصغر تباين البواقي المقدرة كما تعظم R مربع بواسطة:


\sum{(y_{i}-\widehat{y_{i}})}^{2}=\sum \hat{{u_{i}}^{2}}\rightarrow min.


تباين العينة Y هو:


{s_y}^2 = \frac{\sum_{i=1}^{n}{(y_i-\bar y)}^2}{n}


انحراف القيم المشاهدة y_{i} عن الوسط الحسابي \bar{y} سيحلل لجزئين :

انحراف القيم المشاهدة y_{i} عن قيم الانحدار المقدرة وانحراف قيم الانحدار المقدرة عن متوسط العينة:


y_{i}-\bar{y}=[(y_{i}-{\widehat{y_{i}})}+({\widehat{y_{i}}}-\bar{y})],\quad i=1,\cdots ,n


يصور هذا التحليل بالشكل البياني التالي:


Folimg340.gif


بشكل متناظر سيحلل مجموع الانحرافات المربعة الى:


\sum_{i=1}^{n}{(y_{i}-\bar{y})}^{2}=\sum_{i=1}^{n}[{(y_{i}-\widehat{y_{i}})}+({\widehat{y_{i}}}-\bar{y})]^{2}

\sum_{i=1}^{n}{(y_{i}-\bar{y})}^{2}=\sum_{i=1}^{n}{(y_{i}-\widehat{y_{i}})}^{2}+\sum_{i=1}^{n}{(\widehat{y_{i}}-\bar{y})}^{2}


نكون قادرين لاشتقاق المعادلة الثانية فوق Mmengjavaimg3896.gif

يحفز القارئ لبرهان هذا الاستعمال المربعات الأقل أولا أو الشرط فوق مع التعريف Mmengjavaimg3897.gif

نقسم طرفي المعادلة الثانية على n ينتج لدينا :


\frac{\sum_{i}^{n}{(y_{i}-\bar{y})}^{2}}{n}=\frac{\sum_{i=1}^{n}{(y_{i}-\widehat{y_{i}})}^{2}}{n}+\frac{\sum_{i=1}^{n}{(\widehat{y_{i}}-\bar{y})}^{2}}{n}

\frac{\sum_{i}^{n}{(y_{i}-\bar{y})}^{2}}{n}=\frac{\sum_{i=1}^{n}{\hat{u_{i}}}^{2}}{n}\frac{\sum_{i=1}^{n}{(\widehat{y_{i}}-\bar{y})}^{2}}{n}

{S_{y}}^{2}={S_{\hat{u}}}^{2}+{S_{\hat{y}}}^{2}


تباين العينة الاجمالي Y يساوي الى مجموع تباين العينة للبواقي المقدرة ( الجزء غير المفسر لتباين Y )وجزء تباين Y الذي يفسر بواسطة تابع الانحدار. ( تابع العينة لتابع الانحدار).


  • الجزء الأكبر من تباين العينة Mmengjavaimg154.gif

يفسر بواسطة النموذج Mmengjavaimg3901.gif أفضل مطابقة لخط الانحدار.

  • من جهة أخرى كبر تباين البواقي Mmengjavaimg3902.gif

كنسبة مئوية لتباين العينة Mmengjavaimg154.gif بشكل بديل كبر التأثيرات الخارجية غير المفسرة بواسطة تابع الانحدار يطابق أسؤا تابع انحدار.


معامل التحديد:


يعرف معامل التحديد كنسبة تباين Y المفسر بواسطة تابع الانحدار والتباين الاجمالي Y ذلك يعني تعرض نسبة تباين العينة y المفسرة بواسطة تابع الانحدار المقدر.


R_{yx}^{2}=\frac{\sum_{i=1}^{n}{(\widehat{y_{i}}-\bar{y})}^{2}}{\sum_{i=1}^{n}{(y_{i}-\bar{y})}^{2}}=\frac{{S_{\hat{y}}}^{2}}{{S_{y}}^{2}}


كطريقة بديلة لحساب معامل التحديد:



R_{yx}^{2}=\frac{{[\sum_{i=1}^{n}(y_{i}-\bar{y})(x_{i}-\bar{x})]}^{2}}{\sum_{i=1}^{n}{(y_{i}-\bar{y})}^{2}\sum_{i=1}^{n}{(x_{i}-\bar{x})}^{2}}=\frac{{S_{xy}}^{2}}{{S_{y}}^{2}{S_{x}}^{2}}

R_{xy}^{2}=\frac{{(n\sum_{i=1}^{n}x_{i}y_{i}-\sum_{i=1}^{n}x_{i}\sum_{i=1}^{n}y_{i})}^{2}}{[n\sum_{i=1}^{n}{x_{i}}^{2}-{(\sum_{i=1}^{n}x_{i})}^{2}][n\sum_{i=1}^{n}{y_{i}}^{2}-{(\sum_{i=1}^{n}y_{i})}^{2}]}



الخواص:


  • يقع معامل التحديد دائما في المجال التالي: 0 \leq R_{yx}^2 \leq 1

ارتفاع قيمة معامل التحديد ذلك يعني أفضل تابع انحدار يشرح القيم المشاهدة.

اذا كل القيم المشاهدة تتوضع على خط الانحدار معامل التحديد يساوي للواحد سيشرح التباين الاجمالي Y بواسطة المتغير X.

Y ترتبط بشكل تام وخطي مع X

اذا معامل التحديد مساوي للصفر التباين الاجمالي Y متطابق مع التباين غير المفسر (تباين البواقي) المتغير العشوائي X لا تأثير له على Y

  • R_{xy}^{2}=R_{yx}^{2}

بشكل متناظر : مطابقة انحدار y على x متماثلة مع مطابقة انحدار x على y.

  • لأجل تابع الانحدار الخطي يطابق معامل التحديد لمربع معامل الارتباط

R_{yx}^{2}=r_{yx}^{2}.


مثال:


لأجل الاستقلال الموصوف سابقا بين وقت العمل ومخرجات الانتاج. معامل الارتباط البسيط ومعامل التحديد هو:


{r_{yx}}^{2}=0,9977

{R_{yx}}^{2}=0,9954


تابع الانحدار غير الخطي ذو البعد الواحد :


مثال:


n= 8 المدن المقارنة

X عدد وسائط النقل العامة الموزعة لمواطني المدينة عند بداية تحليل الفترة الزمنية.

Y الزيادة في أعداد المواطنين المستعملين لوسائط النقل العامة خلال تحليل الفترة الزمنية.


المدينة i الزيادة Y

(in 1000)

وسائط النقل العامة X

(in 1000)

1 0,60 80
2 6,70 220
3 5,30 140
4 4,00 120
5 6,55 180
6 2,15 100
7 6,60 200
8 5,75 160


الانحدار الخطي :


{\widehat{y_{i}}}={\widehat{b_{0}}}+{\widehat{b_{1}}}x_{i}=-1,82+0,0435x_{i}

{R_{yx}}^{2}=0,875


Folnode4 i 20.gif


نرى من الأشكال البيانية أن البواقي المقدرة لا تتوزع بشكل عشوائي حول الصفر لكن حصلنا على نماذج غير خطية نوعا ما حينئذ من المفيد استعمال نموذج الانحدار غير الخطي بدلا من النموذج الخطي.

الانحدار التربيعي


{\widehat{y_{i}}}={\widehat{b_{0}}}+{\widehat{b_{1}}}x_{i}+{\widehat{b_{2}}x_{i}}^{2}=-10,03+0,1642x_{i}-0,0004{x_{i}}^{2}

{R_{yx}}^{2}=0,995


Folnode4 i 21.gif