רגרסיה מקומית
רגרסיה מקומית - LOESS ו-LOWESS (קיצור של Locally weighted scatterplot smoothing; החלקת תרשים פיזור בשקלול מקומי) הן שתי שיטות א-פרמטריות נפוצות המשלבות מספר רב של מודלי רגרסיה ומבוססות על מודל שכן קרוב. שיטת " LOESS" היא הכללה מאוחרת של שיטת "LOWESS".[1]
"LOESS" ו- "LOWESS" נבנו על שיטות "קלאסיות" כגון רגרסיית הריבועים הפחותים, ליניארית ולא ליניארית. הן מטפלות במצבים שבהם השיטות הקלאסיות אינן מתפקדות היטב או שלא ניתן ליישמן ביעילות. "LOESS" משלבת בין הפשטות של רגרסיית הריבועים הפחותים הליניארית יחד עם הגמישות של הרגרסיה הלא ליניארית. היא עושה זאת על ידי התאמה של מודלים פשוטים לתת-מדגמים של נתונים מקומיים כדי לבנות פונקציה המתארת את החלק הקבוע של השונות בנתונים, נקודה אחר נקודה. אחד היתרונות העיקריים של שיטה זו הוא שמנתח הנתונים לא נדרש להגדיר פונקציה כללית שתתאים בין המכלל מדגם הודל לנתונים, אלא רק בין המחלקי המדגםתונים.
ה"מחיר" עבור תכונות אלה הוא מספר חישובים מוגבר. בגלל החישובים האינטנסיביים, "LOESS" הייתה כמעט בלתי אפשרית לשימוש מבחינה פרקטית בעידן שבו רגרסיית הריבועים הפחותים פותחה. רוב השיטות המודרניות האחרות למידול תהליכים דומות ל-"LOESS" בהקשר זה. שיטות אלה עוצבו באופן מכוון על מנת לנצל את היכולת החישובית הקיימת כדי להשיג מטרות שלא הושגו בקלות על ידי השיטות המסורתיות.
עקומה חלקה העוברת דרך קבוצת הנקודות הניתנות כמידע שחושבה באמצעות טכניקה סטטיסטית זו, נקראת עקומת LOESS, ובפרט כאשר כל ערך מוחלק מתקבל על ידי רגרסיית ריבועים פחותים ריבועית משוקללת על טווח של ערכי קריטריון הפיזור על ציר ה-Y. כאשר כל ערך מוחלק מתקבל על ידי רגרסיית ריבועים פחותים משוקללת על פני הטווח מתקבלת עקומת LOWESS; עם זאת, יש המתייחסים אל LOWESS ו-LOESS כמילים נרדפות.
הגדרה של מודל LOESS
עריכהשיטת LOESS אשר הוצעה במקור על ידי מדען המחשב האמריקני ויליאם קליבלנד (William_S._Cleveland) (1979)[2] ופותחה בהרחבה בהמשך על ידי קליבלנד ודבלין (Susan_J._Devlin) (1988)[3], מוכרת גם כרגרסיית פולינומים מקומית משוקללת. בכל נקודה בנתונים, מותאם פולינום מדרגה נמוכה לתת-קבוצה של הנתונים המכילה ערכים של משתנים מסבירים סביב הנקודה אשר תגובתה נאמדת. הפולינום המותאם, המשתמש בשיטת הריבועים הפחותים המשוקללת, נותן משקל גבוה יותר לנקודות סביב אותה נקודה מגיבה ונאמדת, ומשקל מופחת לנקודות הרחוקות ממנה. הערך של פונקציית הרגרסיה עבור כל נקודה מושג על ידי חישוב של הפולינום המקומי ומשתמש בערכי המשתנים המסבירים עבור אותה נקודה בנתונים. התאמת ה- LOESS מסתיימת לאחר שערכי פונקציית הרגרסיה חושבו עבור כל אחת מה-N נקודות נתונים. הרבה מהפרמטרים של שיטה זו, כמו דרגתו של המודל הפולינומי והמשקלים, הם גמישים. טווחי הפרמטרים עבור כל חלק של השיטה, וערכי ברירת-מחדל טיפוסיים, יידונו בהמשך.
תת-קבוצות של נתונים מקומיים
עריכהתת-קבוצות הנתונים הבאים לידי שימוש בכל התאמה של הריבועים הפחותים המשוקללים למודל LOESS נקבעים על ידי אלגוריתם השכן הקרוב. קלט המשתמש לתהליך נקרא "רוחב סרט" או "פרמטר החלקה" וקובע מאיזו סביבה נלקחים הנתונים המשמשים להתאמה של כל פולינום מקומי. פרמטר ההחלקה, α, הוא מספר בין 1 ל- (λ+1)/n כאשר λ מסמן את דרגת הפולינום המקומי. הערך α מציין את החלק של הנתונים המשמשים בכל התאמה. תת-קבוצות הנתונים המשמים לכל התאמת ריבועים מופחתים משוקללת כוללים n×α נקודות (מעוגלות למספר השלם הגדול הבא) של ערכי המשתנים המסבירים הקרובים ביותר לנקודה בה התגובה מוערכת. α נקרא מקדם החלקה מכיוון שהוא שולט בגמישות של פונקציית רגרסיית LOESS. ערכים גבוהים של α יוצרים פונקציית החלקה בעלת תנודתיות נמוכה בתגובה לתנודתיות בנתונים. ה- α הקטן, מסמל את ההתאמה הקרובה ביותר של פונקציית הרגרסיה לנתונים. שימוש בערך קטן מדי של פרמטר החלקה אינו רצוי, עם זאת, שכן פונקציית הרגרסיה בסופו של דבר תתחיל ללכוד את השגיאה האקראית בנתונים. ערכים שימושיים של פונקציית החלקה בדרך כלל נמצאים בטווח של 0.25-0.5 עבור מרבית יישומי ה-LOESS.
דרגות של פולינומים מקומיים
עריכההפולינומים המקומיים המתאימים לכל תת-קבוצה של נתונים הם כמעט תמיד מדרגה ראשונה או שנייה, כלומר, ליניאריים (במובן של קו ישר) או ריבועיים. שימוש בפולינום מדרגה אפס הופך את LOESS לממוצע נע משוקלל. מודל פשוט מסוג זה יכול לעבוד טוב במצבים מסוימים, אבל לא תמיד מצליח אמוד את הפונקציה הבסיסית בצורה מספיק טובה. פולינומים מדרגות גבוהות יותר יעבדו בתאוריה, אבל יניבו מודלים שהם לא באמת ברוח מודל LOESS. LOESS מבוססת על הרעיון שכל פונקציה יכולה להיאמד היטב על ידי פולינום מרמה נמוכה ומודלים פשוטים כאלה יכולים להתאים לנתונים בקלות. פולינומים מדרגה גבוהה יהיו בעלי נטייה להתאמת יתר של הנתונים בכל סט ולאי יציבות מספרית שעלולה לפגום בדיוק האומדנים.
פונקציית משקל
עריכהכמוזכר לעיל, פונקציית המשקל מחלקת את רוב המשקל לנקודות סביב הנקודה הנאמדת ונותנת פחות משקל לנקודות הרחוקות ממנה. השימוש במשקלים מבוסס על הרעיון שהנקודות הקרובות אחת לשנייה בחלל המשתנים המסבירים נוטות להיות קשורות זו לזו בצורה קלה יותר מאשר הנקודות שרחוקות מחלל זה. בעקבות הגיון זה, נקודות אשר סביר להניח שיעקבו אחרי המודל המקומי בצורה הטובה ביותר ישפיעו על הפרמטר האומד את המודל המקומי בצורה הטובה ביותר. נקודות שסביר להניח שיתאימו פחות למודל המקומי, ישפיעו פחות על הפרמטר האומד של המודל המקומי. פונקציית המשקל המסורתית בה משתמש מודל LOESS היא פונקציית משקל תלת-קובייתית (אנ'):
![{\displaystyle w(x)=(1-|x|^{3})^{3}I[|x|<1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c55eee0faaaa642dfbb68e020cb404849f78c2dc)
כאשר x מתאר את המרחק מהנקודה הנאמדת, מנורמל בין 0 ל-1.
עם זאת, ניתן להשתמש בכל פונקציית משקל אחרת העונה על המאפיינים שהציג קליבלנד (1979) . המשקל עבור נקודה ספציפית בכל מרחב מקומי של תתי נתונים שהוא, מושג על ידי הערכה של פונקציית המשקל במרחק בין הנקודה הספציפית לנקודת האמידה, לאחר דירוג המרחק כך שהמרחק המקסימלי המוחלט של הנקודות על פני תתי הנתונים הוא בדיוק אחד (1).
יתרונותיו של LOESS
עריכההיתרון הגדול של LOESS על פני שיטות אחרות, הוא שלא נדרשת בחירה והגדרה פרמטרית של פונקציה כדי להתאים את המודל לכל הנתונים במדגם. במקום זאת, צריך רק לספק ערך של פרמטר החלקה ואת הדרגה של הפולינום המקומי. בנוסף, LOESS היא מאוד גמישה, מה שהופך אותה לאידיאלית למידול תהליכים מורכבים שאין עבורם מודלים תאורטיים קיימים. שני יתרונות אלה, בשילוב עם הפשטות של השיטה, הופכים את LOESS לאחת משיטות הרגרסיה המודרניות האטרקטיביות ביותר ליישומים המתאימים למסגרת הכללית של רגרסיית הריבועים הפחותים ובעלי מבנה דטרמיניסטי מורכב. LOESS גם נהנה מיתרונות רבים המשותפים לשיטות אחרות המבוססות על רגרסיית ריבועים פחותים ליניארית, למרות שבמקרה של LOESS, הקשר לשיטה זו פחות ברור ומיידי. היתרון החשוב ביותר מתוך אלה הוא היכולת לבסס תאורתית חישובי אי ודאות לתחזית וכיול. ניתן להרחיב בדיקות רבות אחרות ונהלים המשמשים לתיקוף מודלים ריבועים פחותים כך שיחולו גם על מודל LOESS.
חסרונותיו של LOESS
עריכהLOESS עושה שימוש פחות יעיל בנתונים מאשר שיטות ריבועים פחותים אחרות. היא דורשת מדגמים די גדולים של נתונים כדי לייצר מודלים טובים, היות שהיא מסתמכת על מבנה נתונים מקומי בעת ביצוע ההתאמה המקומית. לפיכך LOESS מספקת ניתוח נתונים פחות מורכב בתמורה לעלויות נסיוניות גבוהות יותר. חיסרון נוסף של LOESS הוא עצם העובדה שאינה מספקת פונקציית רגרסיה שמיוצגת בקלות על ידי מודל מתמטי, דבר המקשה על ייצוג והעברה של תוצאות הניתוחים לאנשים אחרים. כדי להעביר את פונקציית הרגרסיה לאדם אחר, יידרש להעביר לו גם את ערכת הנתונים והתוכנה לחישוב LOESS. ברגרסיה לא ליניארית, מצד שני, יש צורך לרשום את הצורה הפונקציונלית בלבד כדי לספק אמדנים של הפרמטרים הלא ידועים והאי ודאות הנאמדת.
מעבר לכך, LOESS היא שיטה עתירת חישובים והיא נוטה להשפעות של חריגים על הנתונים הנמדדים, כמו בשיטות ריבועים פחותים אחרות. קיימת גם גרסה רובוסטית (חזקה) איטרטיבית ל- LOESS (Cleveland 1979) אשר מיועדת לשימוש והפחתת רגישות לחריגים, אך יחד עם זאת, עדיין הרבה מאוד חריגים קיצוניים מסוגלים לבוא לידי ביטוי, על אף השיטה הרובסטית.
ראו גם
עריכהקישורים חיצוניים
עריכההערות שוליים
עריכה- ^ John Fox, Nonparametric Regression: Appendix to An R and S-PLUS Companion to Applied Regression, January 2002
- ^ William S. Cleveland, Robust Locally Weighted Regression and Smoothing Scatterplots, Journal of the American Statistical Association 74, 368, 1979, עמ' 829-836 doi: 10.1080/01621459.1979.10481038
- ^ Cleveland, W. S. & Devlin, S. J. (1988). "Locally weighted regression: An approach to regression analysis by local fitting". Journal of the American Statistical Association. 83: 596–610. doi:10.1080/01621459.1988.10478639.
{{cite journal}}: תחזוקה - ציטוט: multiple names: authors list (link)