רגרסיה ליניארית – הבדלי גרסאות
תוכן שנמחק תוכן שנוסף
Lee gafter (שיחה | תרומות) אין תקציר עריכה |
Lee gafter (שיחה | תרומות) אין תקציר עריכה |
||
שורה 22:
* <math>\bold{\beta,\varepsilon}\in F^n</math> וקטורים <math>n</math>-מימדיים.
=== משוואת
בהנתן מערכת המשוואות הלינארית: <math>\bold{y=X}\bold{\beta+\varepsilon}</math>, וקטור פתרונות המערכת, <math>\bold \beta
</math>, נגדיר [[העתקה לינארית|העתקה]]: <math>P:\mathbb{F}^k\rightarrow \mathbb{F}</math> באופן הבא:
שורה 34:
פולינום זה מאפשר לנו לקבל אומדן לכל ערך של משתנה <math>y</math> בטווח הדגימה, דהיינו: <math>\underset{i\in[n]}{min\{y_i\}}\leq y\leq \underset{i\in [n]}{max\{y_i\}}</math>, בהנתן כל <math>k</math> ערכים שנבחר למשתנים: <math>x_1,\dots,x_k</math>.
==== משוואת הניבוי
המודל המוצג לעיל הינו תיאורטי בלבד, ומניח למעשה כי דגמנו מאוכלוסיה בת <math>n</math> פרטים, את כלל הפרטים. במציאות, דגימה של כלל האוכלוסיה לרב אינה אפשרית, ועל כן אנו בונים את משוואת הניבוי באמצעות אומדים למודל הלינארי של האוכלוסיה. במקרה זה, נחפש וקטור פתרונות <math>\bold{b}</math>, עבור המשוואה: <math>\bold{y=X}\bold{b+\varepsilon}</math>.
מכיוון
מכיוון שדגמנו <math>n</math> ערכים של המשתנה <math>Y</math>, נדרוש את הדרישה השקולה: <math>argmin_{\bold{b}}\sum_{i=1}^N[y_i-P(x_{1_i},\dots,x_{k_i})]^2</math>
וקטור שעומד בדרישה זו נקרא אומד ל- <math>\bold{\beta}</math> בשיטת הריבועים הפחותים, והוא יקיים את התכונות הבאות: ▼
▲וקטור שעומד בדרישה זו נקרא אומד ל- <math>\bold{\beta}</math> בשיטת הריבועים הפחותים,
* '''אומד לינארי-''' וקטור זה הוא פתרון של מערכת משוואות לינארית
* '''אומד חסר הטיה-''' עבור <math>\beta</math>, וקטור מקדמי המערכת הלינארית התיאורטית של האוכלוסיה, הוקטור <math>\bold{b}</math> יקיים: <math>E(\bold{b})=\beta</math>
* '''שונות נגזרת משונות האוכלוסיה-''' השונות של <math>\bold{b}</math> מקיימת: <math>V(\bold{b})={{\sigma^2}\over{\sum{x_i^2}}}</math>
* '''הנחת נורמליות-''' אנו מניחים כי <math>\bold{b} \thicksim N(\beta,{{\sigma^2}\over{\sum{x_i^2}}})</math>
* '''הנחת השונות המינימלית-''' לכל אומד <math>\bold{\widehat{b}} \neq \bold{b}</math> מתקיים: <math>V(\bold{\widehat{b}})>V(\bold{b})</math>
בנוסף, כדי להבטיח כי המודל יניב לנו אומד שאינו מוטה, עלינו לודא כי מתקיימות ההנחות הבאות:
* '''תוחלת 0 של ההפרעה המקרית-''' לכל <math>\varepsilon_i</math>, נדרוש שהתפלגות הדגימה
==== משוואת הניבוי האופטימלית ====
*
| |||