אנטרופיה (סטטיסטיקה) – הבדלי גרסאות

לדוגמה, [[הטלת מטבע]] מחזירה אחת מבין שתי אפשרויות, והטלת קובייה מחזירה אחת מבין שש אפשרויות. ברור שאת תוצאת ההטלה הראשונה וגם את תוצאת ההטלה השנייה קשה יותר לחזות מאשר את זו הראשונה בלבד. חיבור התוצאות של שתי קוביות מחזיר אחת מבין 11 אפשרויות, שבהן 7 היא השכיחה ביותר, ואילו 2 או 12 נדירות ביחס. כאן לא די לומר שגודל מרחב ההסתברות הוא 11 - ההסתברויות אינן אחידות, ולכן לא ניתן במבט ראשון לקבוע האם תוצאת החיבור קשה יותר לחיזוי מאשר, נאמר, בחירה של ספרה אקראית בין 1 ל־9 (ב[[התפלגות אחידה]]). הצורך להשוות באופן מדויק בין מרחבי התפלגות שונים קיים בכל תחומי המדע, ומדידת האנטרופיה באופן שיוצג להלן שכיחה ב[[פיזיקה]] (ראו [[אנטרופיה (פיזיקה)]]), בתורת התקשורת והאינפורמציה, בביולוגיה (שם היא נקראת [[מדד שאנון-ויבר]]) ובתחומים נוספים.