עקומת ROC – הבדלי גרסאות

־־[[קובץ:Roccurves.png|right|thumbממוזער|עקומת ROC של שלוש שיטות לניבוי פיצול פפטידים ב[[פרוטאזום]].]]

ב[[סטטיסטיקה]], '''עקומה אופיינית למסווג''', או '''עקומת ROC''', היא גרף המציג את הביצועים של [[מסווג דו-ערכי]],  לאור סף ההחלטה שנקבע לו. העקומה נוצרת על ידי התוויית [[שיעור החיוביים האמיתיים]] (TPR) מול  [[שיעור החיוביים הכוזבים]] (FPR) תחת ספי קבלה שונים. שיעור החיוביים האמיתיים ידוע גם כ[[רגישות (מדד)|רגישות]]  או [[דיוק וכיסוי|כיסוי]] ב[[למידה חישובית]]. שיעור החיוביים הכוזבים ידוע גם כ[[דלף]] וניתן לחשב אותו כ-1כ־1 פחות ה[[סגוליות]]. עקומת ROC היא, אם כן, הרגישות כפונקציה של הדלף. באופן כללי, אם התפלגות ההסתברות ידועה הן לפגיעה והן לאזעקת שווא, ניתן לייצר את עקומת ROC על ידי התוויית [[פונקציית הצטברות|פונקציית ההצטברות]]  של הסתברות הפגיעות ציר ה-yה־y לעומת פונקציית ההצטברות של ההסתברות לאזעקת שווא בציר ה-xה־x.

עקומת ROC פותחה לראשונה על ידי מהנדסי חשמל ורדאר במהלך מלחמת העולם השנייה, על מנת לשפר את הזיהוי של כלי האויב. לאחר זמן לא רב, הרעיון אומץ בתחום ה[[פסיכולוגיה]], כדי להסביר זיהוי של גירויים על ידי החושים. מאז, ניתוח ROC הופעל במגוון תחומים, ביניהם [[רפואה]], [[רדיולוגיה]], [[ביומטריה]]  ועוד. בעת האחרונה גובר השימוש בניתוח זה בתחום [[למידה חישובית|הלמידה החישובית]] וכריית המידע.

מבחן ([[מסווג]]  או [[אבחנה|בדיקת אבחון]]) הוא פונקציה שמקשרת בין כל פרט או מקרה לבין קטגוריה או מחלקה מסויימת. תוצאת הסיווג או האבחון היא לרוב בדידה. אם תוצאת המבחן היא רציפה (בעלת ערך [[מספר ממשי|ממשי]]) -– אז דרוש לקבוע סף אבחנה בין הקטגוריות השונות (למשל, כדי לבדוק האם אדם חולה ב[[יתר לחץ דם]], על פי מדידת הלחץ הדם שלו בזמן מסויים, יש לבחור ערך סף שמעליו האדם יוגדר חולה).

במקרה שהאבחנה היא בין שתי קטגוריות בלבד ([[מסווג דו-ערכי|סיווג דו-ערכידו־ערכי]]), נהוג לסמן את אחת האפשרויות כ"חיובית" והאחרת -– "שלילית". במקרה כזה, קיימות ארבע אפשרויות: אם האבחנה היא חיובית והערך האמיתי גם הוא חיובי, הפרט נקרא "חיובי אמיתי"; אם הערך האמיתי הוא דווקא שלילי, הפרט הוא "חיובי כוזב". מאידך, אם הערך האמיתי הוא שלילי, אם האבחנה גם היא שלילית, הפרט ייקרא "שלילי אמיתי", והפרט ייקרא "שלילי כוזב" אם הערך האמיתי הוא דווקא חיובי. ניתן להציג ערכים אלו בעזרת [[מטריצת טעות]].{{מטריצת טעות}}

במרחב זה, כל מבחן מיוצג כנקודה. המבחן האידאלי (או: הסיווג המושלם) יופיע במרחב כנקודה בפינה השמאלית העליונה (0,1) של המרחב, כלומר כלאין התוצאותפרטים החיוביותחיוביים אמיתיותכוזבים וגם כלואין התוצאותפרטים השלילותשליליים אמיתיותכוזבים.<div><br>

</div><div>ניחוש [[אקראיות|אקראי]]  לחלוטין ייוצג כנקודה על הקו האלכסוני מהפינה השמאלית התחתונה לנקודה הימנית העליונה (מקווקו אדום, בתמונה). למשל: [[הטלת מטבע]]  תתקרב, ככל שהמדגם גדל, למבחן שנמצא בנקודה (0.5,0.5). בדומה, מבחן שנותן תוצאה חיובית לכל הפרטים יגרום ל-100ל־100% חיוביים אמיתיים אבל גם ל-100% חיוביים כוזבים, ויסומן כנקודה בפינה הימנית העליונה.</div>

בדוגמה הבאה מוצגים ארבעה סיווגים שונים ממדגם שבו 100 פרטים חיוביים ו-100ו־100 שליליים:

ארבעת המסווגים מיוצגים על ידי נקודת במרחב ROC שבתמונה. התמונה מראה בבירור שמסווג A הוא המוצלח ביותר מבין A, <nowiki>{{כ}}</nowiki>B ו-Cו־C. תוצאת הסיווג של B נמצאת על קו הניחוש האקראי (האלכסון), וניתן לראות גם שהנכונות של B היא 50%. עם זאת, אם [[שיקוף (מתמטיקה)|נשקף]]  את נקודה C דרך הנקודה (0.5,0.5), התוצאה המתקבלת, C'<nowiki>{{D}}</nowiki> היא מוצלחת אפילו יותר מ-Aמ־A. <nowiki> {{כ}}</nowiki>C'<nowiki>{{D}}</nowiki> פשוט מחליפה בין הקטגוריות של C (כאשר C מסווגת "שלילי",  C'<nowiki>{{D}}</nowiki> מסווגת חיובי, ולהיפך).

<div style="direction: rtl;">סיווגים מבוססים לעתים רבות על [[משתנה מקרי|משתנה מקרי רציף]]. במקרה כזה, ניתן לכתוב את [[פונקציית צפיפות|צפיפויות ההסתברות]]  של כל אחת מהמחלקות כפונקציה של המשתנה המקרי (T). אם נסמן את ההסתברות לקטגוריה חיובית על ידי <math>P_1(T)</math> ואת ההסתברות לקטגוריה שלילית על ידי P_2(T), נוכל לקבל את הביטויים הבאים לשח"א (TPR) ולשח"כ (FPR) כפונקציה של סף ההחלטה <nowiki><math>\beta</math></nowiki>:</div>
<div styleclass="direction: mw-content-ltr;">:<nowiki></math></nowiki>FPR(\beta)=\int_{\beta}^\infty P_0(T) dT</divmath>
:<div style="direction: ltr;"math>:TPR(\beta)=\int_{\beta}^\infty P_1(T) dT</div><div style="direction: rtl;">ניתן כעת לשרטט את עקומת ROC של המסווג כפונקציה של הפרמטר <nowiki><math>\beta</math></nowiki>.</div>

כדוגמה, נניח שרמות החלבונים בדם של חולים ושל בריאים [[התפלגות נורמלית|מתפלגות נורמלית]]  סביב ממוצע של 2 גרם לד"ל וגרם אחד לד"ל, בהתאמה. בדיקה רפואית מסויימת עשויה למדוד את רמתו של חלבון מסויים בדגימות הדם ולסווג כל דגימה שבה הרמה היא מעל ערך מסויים כדגימה מאדם חולה. על ידי הזזת ערך הסף (שחור באיור) מטה (או שמאלה) ניתן להגדיל את שיעור החיוביים הכוזבים, יחד עם הגדלת שיעור החיוביים הכוזבים, והזזה מעלה (או ימינה) תקטין את שניהם יחד. צורתה של העקומה תיקבע לפי מידת המובחנות בין שני הגירויים (בגרף: כמות החפיפה בין שתי ההתפלגויות.

לעתים, יוצרים מתוך עקומת ROC מדדים נוספים למסווג. דוגמאות נפוצות הן:<div><br>

השימוש הראשון בעקומת ROC היה בימי [[מלחמת העולם השנייה]], לשם ניתוח אותות [[מכ"ם]].  בעקבות [[המתקפה על פרל הארבור|המתקפה על פרל הרבור]]  בשנת 1941, צבא ארצות הברית החל במחקר חדש על מנת להגדיל את יכולת הזיהוי של כלי טיס יפניים על ידי המכ"מים שבידיו.<nowiki>{{מקור}}</nowiki>

בשנות ה-50ה־50 של המאה ה-20ה־20, החלו להימצא עקומות ROC בשימוש התחום ה[[פסיכופיזיקה]] , על מנת להעריך את יכולת הזיהוי של אותות חלשים על ידי אנשים (ולעתים גם על ידי בעלי חיים נוספים). ברפואה, ניתוח ROC נמצא בשימוש נרחב לשם הערכות [[אבחנה|בדיקות אבחון]].  עקומות ROC גם נמצאות בשימוש נרחב ב[[אפידמיולוגיה]] ומחקר רפואי, ולעתים קרובות מוזכרות בהקשר של [[רפואה מבוססת ראיות]]. ב[[רדיולוגיה]], ניתוח ROC הוא טכניקה נפוצה להעריך טכניקות רדיולוגיה חדשות. במדעי החברה, ניתוח ROC, הנקרא בהקשר נקראזה לעתים קרובות יחס נכונות ROC, הוא טכניקה נפוצה לבחינת הנכונות של מודלים הסתברותיים להפרתל[[ריבית הפרה|הפרת הלוואה]]. עקומות ROC נפוצות גם ברפואת מעבדה כדי להעריך את הדיוק האבחנתי של בדיקה, לבחור את הסף האופטימלי לבדיקה ולהשוות את דיוק אבחון של כמה בדיקות.

יעילותן של עקומות ROC הוכחה גם בהערכת יכולותיהן של שיטות ב[[למידה חישובית]]. אחד המיישמים הראשונים של ניתוח ROC בתחום הלמידה החישובית היה קנת ספקמן, שהדגים את חשיבותן של עקומות ROC בהשוואה בין [[אלגוריתם|אלגוריתמים]]  שונים לסיווג.<nowiki><ref>Spackman, Kent A. (1989). "Signal detection theory: Valuable tools for evaluating inductive learning". Proceedings of the Sixth International Workshop on Machine Learning. San Mateo, CA: Morgan Kaufmann. pp. 160–163.</ref></nowiki>

* Swets, John A.; Dawes, Robyn M.; and Monahan, John (2000); ''Better Decisions through Science'', [[סיינטיפיק אמריקן|Scientific American]], October, pp.&nbsp; 82–87