מובהקות סטטיסטית – הבדלי גרסאות

המבחן מורה לדחות את השערת האפס, אם תוצאות הניסוי אינן סבירות כאשר מניחים שההשערה נכונה. מכיוון שהניסוי כולל [[דגימה (סטטיסטיקה)|דגימה]] של [[משתנה מקרי|משתנים מקריים]], גם כאשר השערת האפס נכונה, בהחלט ייתכן שתתקבל תוצאה שלאורה השערת האפס תיראה בלתי סבירה (ותחייב את דחיית השערת האפס). לטעות כזו שבה דוחים את ההשערה שלא בצדק, קוראים [[שגיאה מסוג I]] ("דחייה שגויה"). ל[[הסתברות]] שטעות כזו תתרחש קוראים '''רמת המובהקות''' של המבחן. רמת מובהקות זו מיוצגת בעזרת ״אלפא״. לדוגמה, במחקר לגבי תועלת של תרופה מול פלצבו, נקבעת מראש רמת מובהקות של אלפא=5%. השערת האפס היא שאין הבדל בין התרופה ל[[פלצבו]]. יש סיכוי של 5% שנדחה השערה זו בטעות. במליםבמילים אחרות אם התרופה לא מועילה כלל יש סכוי של 5% שהמחקר יראה כאילו הועילה.