רגרסיה ליניארית – הבדלי גרסאות

תהי <math>Y:=\{y_i\}^{n}_{i=1}</math> [[סדרה]] בת <math>n</math> איברים של ערכי משתנה <math>Y</math>, ו <math>\bigcup_{j=1}^k\{X_j\}</math> משפחה של קבוצות שאיבריהן הסדרות: <math>X_j:=\{x_{j_i}\}^{n}_{i=1} , \forall{j=1,2,...,n}</math>. לכל [[אינדקס (מתמטיקה)|אינדקס]] <math>i</math> נגדיר את [[וקטור|הוקטורהווקטור]]: <math>(y_i,x_{1_i},x_{2_i},...,x_{k_i})</math>.

תחת הנחת הלינאריות נאמר כי רכיבי הוקטורהווקטור מקיימים את הקשר הלינארי הבא:

* <math>\bold{y}\in F^n</math> וקטור <math>n</math>-מימדיממדי של ערכי הסדרה <math>Y</math>

* <math>\bold{\beta,\varepsilon}\in F^n</math> וקטורים <math>n</math>-מימדייםממדיים.

בהנתןבהינתן מערכת המשוואות הלינארית: <math>\bold{y=X}\bold{\beta+\varepsilon}</math>, וקטור פתרונות המערכת, <math>\bold \beta

פולינום זה מאפשר לנו לקבל אומדן לכל ערך של משתנה <math>y</math> בטווח הדגימה, דהיינו: <math>\underset{i\in[n]}{min\{y_i\}}\leq y\leq \underset{i\in [n]}{max\{y_i\}}</math>, בהנתןבהינתן כל <math>k</math> ערכים שנבחר למשתנים: <math>x_1,\dots,x_k</math>.

המודל המוצג לעיל הינו תיאורטיתאורטי בלבד, ומניח למעשה כי דגמנו מאוכלוסיהמאוכלוסייה בת <math>n</math> פרטים, את כלל הפרטים. במציאות, דגימה של כלל האוכלוסיההאוכלוסייה לרב אינה אפשרית, ועל כן אנו בונים את משוואת הניבוי באמצעות אומדים למודל הלינארי של האוכלוסיההאוכלוסייה. במקרה זה, נחפש וקטור פתרונות <math>\bold{b}</math>, עבור המשוואה: <math>\bold{y=X}\bold{b+\varepsilon}</math>.

===== אומדים חסרי הטייההטיה =====

מכיוון שהוקטורשהווקטור <math>\bold{b}</math> מקיים את השיוויוןהשוויון: <math>\bold{y=X}\bold{b+\varepsilon}</math> ולא את השיוויוןהשוויון: <math>\bold{y=X}\bold{b}</math>, בכל מקרה בו <math>\varepsilon_i\neq0</math> נקבל: <math>P(x_{1_i},\dots,x_{k_i})=y\neq y_i</math> ועל כן נשאף למצוא וקטור <math>\bold{b}</math> כך ש: <math>argmin_\bold{b} P(|y_i-y|)</math>.

* '''שונות נגזרת משונות האוכלוסיההאוכלוסייה-''' [[שונות|השונות]] של <math>\bold{b}</math> מקיימת: <math>V(\bold{b})={{\sigma^2}\over{\sum{x_i^2}}}</math>

* '''אומד חסר הטיה-''' עבור <math>\beta</math>, וקטור מקדמי המערכת הלינארית התיאורטיתהתאורטית של האוכלוסיההאוכלוסייה, [[תוחלת]] הוקטורהווקטור <math>\bold{b}</math> תקיים: <math>E(\bold{b})=\beta</math>

* '''עקיבות-''' אומד חסר הטייההטיה באופן אסימפטוטי המקיים גם: <math>\lim_{n\rightarrow \infty}V(\bold{b})=0</math>

תכונות אלו יחדיו, מבטיחות כי הגדלת גודל המדגם עליו מבוססת משוואת האמידה, תקרב אותנו לפרמטרים האמיתיים של האוכלוסיההאוכלוסייה, דהיינו, אל <math>\beta</math>

לא בכל מדגם שנאסוף יתקיימו כלל ההנחות שמנינו לעיל, לרב בעקבות תכונות של האוכלוסיההאוכלוסייה ממנה נלקחו התצפיות, או מגבלות באיסוף התצפיות עצמן. במקרים כאלו, לא ניתן להשתמש בשיטת הריבועים הפחותים לאמידת המודל, ונדרש להשתמש בשיטות אמידה אחרות, שמניבות אומדים חסרי הטייההטיה, תחת הנחות מקלות יותר.