אנטרופיה (סטטיסטיקה) – הבדלי גרסאות

ב[[סטטיסטיקה]] ובתחומים נוספים, ובעיקר ב[[תורת האינפורמציה]], '''אנטרופיה''' (ב[[אנגלית]]: '''Entropy''') היא מדד לגודלו האפקטיבי של [[מרחב הסתברות]]. האנטרופיה של [[התפלגות אחידה בדידה]] על n מצבים היא <math>\ \log_2n</math>. את מושג האנטרופיה המתמטית פיתח אבי תורת האינפורמציה [[קלוד שאנון]] ב־[[1948]]{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''', vol. 27, pp. 379–423, 623-656, July, October, 1948}}.

לדוגמה, [[הטלת מטבע]] מחזירה אחת מבין שתי אפשרויות, ו[[הטלת קובייה]] מחזירה אחת מבין שש אפשרויות. ברור שאת התוצאה של הטלת הקוביה קשה יותר לחזות מאשר את זו של המטבע. חיבור התוצאות של שתי קוביות מחזיר אחת מבין 11 אפשרויות, שבהן 7 היא השכיחה ביותר, ואילו 2 או 12 נדירות ביחס. כאן לא די לומר שגודל מרחב ההסתברות הוא 11 - ההסתברויות אינן אחידות, ולכן לא ניתן במבט ראשון לקבוע האם תוצאת החיבור קשה יותר לחיזוי מאשר, נאמר, בחירה של ספרה אקראית בין 1 ל־9 (ב[[התפלגות אחידה בדידה]]). הצורך להשוות באופן מדויק בין מרחבי התפלגות שונים קיים בכל תחומי המדע, ומדידת האנטרופיה באופן שיוצג להלן שכיחה ב[[פיזיקה]], ב[[תורת האינפורמציה]] ב[[ביולוגיה]] (שם היא נקראת [[מדד שאנון-ויבר]]) ובתחומים נוספים.