|
|
|
ב[[סטטיסטיקה]] ובתחומים נוספים, ובעיקר ב[[תורת האינפורמציה]], '''אנטרופיה''' (ב[[אנגלית]]: '''Entropy''') היא מדד לגודלו האפקטיבי של [[מרחב התפלגות]]. את מושג האנטרופיה המתמטית פיתח [[קלוד שאנון]] ב־[[1948]].
לדוגמה, [[הטלת מטבע]] מחזירה אחת מבין שתי אפשרויות, והטלתו[[הטלת קובייה]] מחזירה אחת מבין שש אפשרויות. ברור שאת תוצאת ההטלה השנייה קשה יותר לחזות מאשר את זו הראשונה. חיבור התוצאות של שתי קוביות מחזיר אחת מבין 11 אפשרויות, שבהן 7 היא השכיחה ביותר, ואילו 2 או 12 נדירות ביחס. כאן לא די לומר שגודל מרחב ההסתברות הוא 11 - ההסתברויות אינן אחידות, ולכן לא ניתן במבט ראשון לקבוע האם תוצאת החיבור קשה יותר לחיזוי מאשר, נאמר, בחירה של ספרה אקראית בין 1 ל־9 (ב[[התפלגות אחידה]]). הצורך להשוות באופן מדויק בין מרחבי התפלגות שונים קיים בכל תחומי המדע, ומדידת האנטרופיה באופן שיוצג להלן שכיחה ב[[פיזיקה]] (ראו [[אנטרופיה (פיזיקה)]]), בתורת התקשורת והאינפורמציה, בביולוגיה (שם היא נקראת [[מדד שאנון-ויבר]]) ובתחומים נוספים.
== הגדרה ואקסיומטיקה ==
|
