רגרסיה אורדינלית

רגרסיה אורדינלית היא מודל רגרסיה סטטיסטי בו המשתנה המוסבר נמדד בסולם מדידה סודר. מודלים כאלה שימושיים במיוחד במדעי החברה, שם נעשה שימוש נרחב במשתנים הנמדדים בסולם לייקרט, מדידה המשתמשת באמרות שליליות או חיוביות עם מידה משתנה של עוצמה המתייחסות לאובייקט מסויים (לדוגמה: סולם הנע מ-1 עד 5, כאשר 5 מייצג 'מסכים במידה רבה', ו-1 מייצג 'מסכים במידה מועטה').

הגדרה פורמלית

יהיה $Y$ משתנה הנמדד בסולם מדידה סודר, שיכול לקבל $C$ ערכים שונים. נסמן את הערכים ש-$Y$ מקבל ב-$y_{1}$ עד $y_{C}$, כאשר $y_{1}\leq y_{2}\leq ...\leq y_{C}$. ללא הגבלת הכלליות נניח כי $y_{1}=1,y_{2}=2,...,y_{C}=C$.

כן יהיו $X_{1},...X_{p}$ משתנים מסבירים, $\beta _{1},...,\beta _{p}$ פרמטרים ממשיים, ו-$\alpha _{1},...,\alpha _{C-1}$ פרמטרים ממשיים המקיימים $\alpha _{1}\leq \alpha _{2}\leq ...\leq \alpha _{C-1}$.

נסמן $X\beta =\beta _{1}X_{1}+...+\beta _{p}X_{p}$. כן נסמן ב-$x$ את הערך הנצפה של המשתנה $X$.

הערכים $\alpha _{1},...,\alpha _{C-1}$ מגדירים מעין "מדרגות" שמפרידות בין הערכים השונים של $Y$, ויוצרים באופן מסוים הכללה למודל הרגרסיה הלוגיסטית, שם יש מדרגה אחת המפרידה בין שני הערכים האפשריים של המשתנה המוסבר, וגובהה נקבע שרירותית להיות שווה לאפס, וזאת באינטרפרטציה שבה ערכו של $Y$ נקבע על ידי ערכו של משתנה נסתר $Y^{*}$.

מודלים ליניאריים

המקרה הכללי

מודל ליניארי עבור $Y$ הוא $P(Y\leq j|X_{1},...,X_{p})=g^{-1}(\alpha _{j}+X\beta )$, כאשר $g$ היא פונקציית קישור. ניתן להסתכל על המודל, כסט משוואות לינאריות:

$P(Y\leq 1|X_{1},...,X_{p})=g^{-1}(\alpha _{1}+X\beta )$

$P(Y\leq 2|X_{1},...,X_{p})=g^{-1}(\alpha _{2}+X\beta )$

$\vdots$

$P(Y\leq j|X_{1},...,X_{p})=g^{-1}(\alpha _{j}+X\beta )$

המודל הנאמד פותר עבור כל המשוואות, כאשר הבטאות הנאמדות זהות עבור כל משוואה ומשוואה, ומקדם החיתוך, α, משתנה בין המשוואות. בחירות שונות של $g$ מובילות למודלים שונים ממשפחת מודלים זו. במובן מסוים ניתן לראות מודל זה כמודל ליניארי מוכלל. יש להניח את כל ההנחות הסטנדרטיות שמודל רגרסיה אמור לקיים.

יש לשים לב כי בניסוח זה, ערך חיובי של $\beta$ משמעותו אפקט שלילי, במובן שאם $\beta$ גבוה יותר, ההסתברות כי $Y$ יקבל ערך נמוך תגדל. מסיבה זו, יש הנוהגים להגדיר את המודל כפונקציה של $\alpha _{j}-X\beta$. מבחינה מעשית ההבדל היחיד הוא שאומדני הפרמטרים של המודל יהיו בסימנים הפוכים. לכן, כאשר משתמשים בתוכנה, יש לשים לב איך המודל מוגדר על ידי התוכנה, וזאת כדי לאפשר אינטרפרטציה נכונה של האומדנים.

מודל לוגיסטי מצטבר

אם $g$ היא פונקציית הלוגיט: $g(s)=\log({\frac {s}{1-s}})$, המודל המתקבל נקרא מודל לוגיסטי מצטבר. כפי שצוין מעלה, ניתן לגזור מודל זה מהנחת קיום משתנה נסתר, בדומה לגזירת מודל הרגרסיה הלוגיסטית.

על פי מודל זה

$$P(Y\leq j|x_{1},...,x_{j})={\frac {e^{\alpha _{j}+x\beta }}{1+e^{\alpha _{j}+x\beta }}}$$

בדומה למודל רגרסיה הלוגיסטית, גם במודל זה יש לפרמטרים $\beta$ פירוש של לוג יחס סיכויים:

$$\log {\frac {P(Y\leq j|x_{1})/P(Y>j|x_{1})}{P(Y\leq j|x_{2})/P(Y>j|x_{2})}}=\beta (x_{1}-x_{2})$$

יש לשים כי כאן הלוגריתם של יחס הסיכויים אינו קבוע לכל ערכי $X$ אלא פרופורציונלי להפרש בין שני ערכים ספציפיים של $X$.

מודל פרוביט מצטבר

נסמן ב-$\Phi (s)$ את פונקציית ההתפלגות המצטברת של משתנה מקרי נורמלי סטנדרטי, ונגדיר את פונקציית הקישור להיות $g(s)=\Phi ^{-1}(s)$. המודל המתקבל הוא נקרא מודל פרוביט מצטבר. ניתן לגזור מודל זה מהנחת קיום משתנה נסתר שהתפלגותו נורמלית. מודל זה שימושי פחות ממודל הלוגיט, מכיוון שאין לפרמטרים שלו אינטרפרטציה ברורה. כמו כן, בדרך כלל מודל הלוגיט ומודל הפרוביט מניבים תוצאות דומות.

מודל לא סימטרי

פונקציות הקישור לוגיט ופרוביט סימטריות במובן ש-$P(Y\leq j)$ מתקרב ל-0 באותו הקצב שבו הוא מתקרב ל-1. באינטרפרטציה על פיה ערכו של Y נקבע על ידי משתנה נסתר $Y^{*}$, השימוש בפונקציות קישור אלה ודומותיהן מניח כי $Y^{*}$ הוא בעל התפלגות סימטרית.

עם זאת, על אף ומודל מבוסס פונקציית קישור פרוביט חסין יחסית לסטיות של המשתנה החבוי, לעיתים עולה הצורך להשתמש בהתפלגות משתנה חבוי שאינה סימטרית אלא מצודדת (skewed). בהתפלגות מצודדת ימנית (right skewed), כלומר התפלגות עם "זנב" של ערכים גבוהים, $P(Y\leq j)$ מתקרב ל-1 בקצב יותר מהיר מאשר ל-0, ובאופן דומה, בהתפלגות מצודדת שמאלית (left skewed), כלומר התפלגות עם "זנב" של ערכים נמוכים, $P(Y\leq j)$ מתקרב ל-0 בקצב יותר מהיר מאשר ל-1.

תחת הנחות אלה, מתאים יותר לבחור פונקציית קישור לא סימטרית. למקרה של משתנה נסתר בעל התפלגות מצודדת ימנית מומלץ לבחור כפונקציית הקישור את פונקציית הלוג-לוג המשלימה (complementary log-log): $g^{-1}(s)=\log[-\log(1-s)]$. באופן דומה, כאשר מניחים שלמשתנה הנסתר הוא התפלגות מצודדת שמאלית, מתאימה יותר פונקציית הקישור לוג-לוג: $g^{-1}(s)=\log[-\log(s)]$.

מודלים אחרים

קיים מגוון רחב של מודלים אחרים לרגרסיה אורדינלית. שלבי הברמן הציע ליישם את המודל הלוג ליניארי לניתוח משתנה סודר בהינתן משתנים מסבירים. ליאו גודמן הציע מודלים מכפלתיים, וכן משפחת מודלים המהווה הרחבה של המודל הלוג ליניארי שכוללת בתוכה איבר לא ליניארי (אחד המודלים הנפוצים ממשפחת מודלים זו ידוע בשם מודל RC). מודלים לא ליניאריים המתקבלים על ידי השמטת הנחות לגבי השונות של המשתנה הנסתר הוצגו על ידי פיטר מק-קאלאך.

כן יש מגוון רב של מודלים בייסיאניים ומודלים של למידת מכונה.

לקריאה נוספת

• Bürkner, P. C., & Vuorre, M. (2019). Ordinal regression models in psychology: A tutorial. Advances in Methods and Practices in Psychological Science, 2(1), 77-101.
• Liddell, T. M., & Kruschke, J. K. (2018). Analyzing ordinal data with metric models: What could possibly go wrong?. Journal of Experimental Social Psychology, 79, 328-348.
• Models for Ordinal Response Data - Coure notes by Germán Rodríguez, Princeton University
• Modeling Ordinal Categorical Data - Tutorial by Alan Agresti, University of Florida