מובהקות סטטיסטית – הבדלי גרסאות

כאשר עורכים [[ניסוי מדעי|ניסויים מדעיים]], ערכים מקובלים לרמת מובהקות הם 5% או 1%. ערכים אלו הם שרירותיים אך נוחים לעבודה ועל כן השתרשו. לכאורה נראה שאחת מבין 20 הכרזות על דחיית השערת האפס, מקורה בחוסר מזל סטטיסטי; אלא שלעתים קרובות מתברר, בדיעבד, שדין השערת האפס היה להדחות גם במבחן בעל מסננת הדוקה יותר, ולכן שעור השגיאות נמוך בהרבה. (זה 'נפנוף ידיים'. לפעמים כן, לפעמים לא. אין מקום להכרזה קטגורית כזו.)

יודגש שאת רמת המובהקות של המבחן אפשר לקבוע מראש, לפני ביצוע הניסוי, ובהתאם לזאת לבחור במבחן המתאים. בפועל, הופכים את סדר הדברים. בשלב ראשון קובעים משפחה של מבחנים. במקביל קובעים את רמת המובהקות הרצויה, תוך מתן משקל לגודל האפקט שאותו מבקשים לזהות, לחומרה של שגיאה מסוג I לעומת שגיאה מסוג II, ולעלויות הכרוכות בהגדלת ה[[מדגם]]. בהמשך בוחרים מתוך המשפחה את המבחן אשר לו רמת המובהקות המתאימה, ואז אפשר לגשת לביצוע הניסוי. (אין פה שום 'הפיכת סדר הדברים'.)