רגרסיה ליניארית – הבדלי גרסאות

* <math>\varepsilon_i</math> הוא [[משתנה מקרי]] שערכו הנקודתי נגזר מהפער בין הקשר הליניארי בין ערכי הסדרות <math>X_j</math> באינדקס ה-<math>i</math>י, ובין ערך הסדרה <math>Y</math> בנקודה זו. משתנה זה נקרא "ההפרעה המקרית", או "השונות המקרית" של המודל ומבטא את השינוי בערכי <math>Y</math>, שאינם מוסברים על ידי שינוי בערכי <math>\boldmathbf{X}_1,\dots,\boldmathbf{X}_k</math>.

<math>\boldmathbf{y=X}\boldmathbf{\beta+\varepsilon}</math>

* <math>\boldmathbf{y}\in F^n</math> וקטור <math>n</math>-ממדי של ערכי הסדרה <math>Y</math>

<math>\boldmathbf{X}=\begin{pmatrix} \boldmathbf{x_1^{T}} \\ \boldmathbf{x_2^{T}} \\.\\.\\.\\ \boldmathbf{x_k^{T}}\\ \end{pmatrix}=\begin{pmatrix} x_{11} & ... & x_{1k}\\ x_{21} & ... & x_{2k}\\ \vdots & \ddots & \vdots\\ x_{n1} & ... & x_{nk}\\ \end{pmatrix}</math>

* <math>\boldmathbf{\beta,\varepsilon}\in F^n</math> וקטורים <math>n</math>-ממדיים.

בהינתן מערכת המשוואות הליניארית: <math>\boldmathbf{y=X}\boldmathbf{\beta+\varepsilon}</math>, וקטור פתרונות המערכת, <math>\boldmathbf \beta

<math>P(\boldmathbf{x})=a+\boldmathbf{\beta}\cdot\boldmathbf{x}</math>.

המודל המוצג לעיל הוא תאורטי בלבד, ומניח למעשה כי דגמנו מאוכלוסייה בת <math>n</math> פרטים, את כלל הפרטים. במציאות, דגימה של כלל האוכלוסייה לרוב אינה אפשרית, ועל כן נהוג לבנות את משוואת הניבוי באמצעות אומדים למודל הליניארי של האוכלוסייה. במקרה זה, נחפש וקטור פתרונות <math>\boldmathbf{b}</math>, עבור המשוואה: <math>\boldmathbf{y=X}\boldmathbf{b+\varepsilon}</math>.

מכיוון שהווקטור <math>\boldmathbf{b}</math> מקיים את השוויון: <math>\boldmathbf{y=X}\boldmathbf{b+\varepsilon}</math> ולא את השוויון: <math>\boldmathbf{y=X}\boldmathbf{b}</math>, בכל מקרה בו <math>\varepsilon_i\neq0</math> נקבל: <math>P(x_{1_i},\dots,x_{k_i})=y\neq y_i</math>, ועל כן נשאף למצוא וקטור <math>\boldmathbf{b}</math> כך ש: <math>\underset{\boldmathbf{b}}{\operatorname{argmin}} P(|y_i-y|)</math>.

מכיוון שדגמנו <math>n</math> ערכים של המשתנה <math>Y</math>, נדרוש את הדרישה השקולה: <math>\underset{\boldmathbf{b}}{\operatorname{argmin}} \sum_{i=1}^N[y_i-P(x_{1_i},\dots,x_{k_i})]^2</math>

וקטור שעומד בדרישה זו נקרא אומד ל- <math>\boldmathbf{\beta}</math> ב[[שיטת הריבועים הפחותים]], יקיים את התכונות הבאות:

* '''שונות נגזרת משונות האוכלוסייה''' – [[שונות|השונות]] של <math>\boldmathbf{b}</math> מקיימת: <math>V(\boldmathbf{b})={{\sigma^2}\over{\sum{x_i^2}}}</math>

* '''הנחת [[התפלגות נורמלית|נורמליות]]''' – אנו מניחים כי <math>\boldmathbf{b} \thicksim N(\beta,{{\sigma^2}\over{\sum{x_i^2}}})</math>

* '''אומד חסר הטיה''' – עבור <math>\beta</math>, וקטור מקדמי המערכת הליניארית התאורטית של האוכלוסייה, [[תוחלת]] הווקטור <math>\boldmathbf{b}</math> תקיים: <math>E(\boldmathbf{b})=\beta</math>

* '''הנחת השונות המינימלית''' – לכל אומד <math>\boldmathbf{\widehat{b}} \neq \boldmathbf{b}</math> מתקיים: <math>V(\boldmathbf{\widehat{b}})>V(\boldmathbf{b})</math>

* '''אומד חסר הטיה באופן [[אסימפטוטי]]''' – יקיים: <math>\lim_{n \to \infty} ({E(\boldmathbf{b}})-\beta)=0</math>

* '''עקיבות''' – אומד חסר הטיה באופן אסימפטוטי המקיים גם: <math>\lim_{n\rightarrow \infty}V(\boldmathbf{b})=0</math>

* <math>\boldmathbf{X_j}</math> '''אינו משתנה מקרי''' – מהנחה זו משתמע כי אין מתאם בין השונות המקרית למשתנה המסביר, כלומר: <math>Cov(x_{j_i},\varepsilon_i)=0</math>.

* '''איסור מולטיקולינאריות מושלמת''' – לכל משתנה מסביר <math>\boldmathbf{X_j}</math>, נניח כי: <math>V(\boldmathbf{X_j})\neq 0</math>.