אנטרופיה (סטטיסטיקה) – הבדלי גרסאות

לדוגמה, [[הטלת מטבע]] מחזירה אחת מבין שתי אפשרויות, ו[[הטלת קובייה]] מחזירה אחת מבין שש אפשרויות. ברור שאת תוצאת ההטלה השנייה קשה יותר לחזות מאשר את זו הראשונה. חיבור התוצאות של שתי קוביות מחזיר אחת מבין 11 אפשרויות, שבהן 7 היא השכיחה ביותר, ואילו 2 או 12 נדירות ביחס. כאן לא די לומר שגודל מרחב ההסתברות הוא 11 - ההסתברויות אינן אחידות, ולכן לא ניתן במבט ראשון לקבוע האם תוצאת החיבור קשה יותר לחיזוי מאשר, נאמר, בחירה של ספרה אקראית בין 1 ל־9 (ב[[התפלגות אחידה]]). הצורך להשוות באופן מדויק בין מרחבי התפלגות שונים קיים בכל תחומי המדע, ומדידת האנטרופיה באופן שיוצג להלן שכיחה ב[[פיזיקה]], (ראו ב[[אנטרופיהתורת (פיזיקה)האינפורמציה]]), בתורת התקשורת והאינפורמציה, בביולוגיהב[[ביולוגיה]] (שם היא נקראת [[מדד שאנון-ויבר]]) ובתחומים נוספים.