תורת האינפורמציה – הבדלי גרסאות
תוכן שנמחק תוכן שנוסף
אין תקציר עריכה |
←אנטרופיה: האנטרופיה מקסימלית כשההתפלגות אחידה |
||
שורה 22:
<math display="block">H(M)= -\bigl[p\log_2 p+(1-p)\log_2(1-p)\bigr]</math>במקרה בו p שווה ל: <math>\frac13</math> נקבל:<math display="block">H(M)= -\biggl[\frac{1}{3}\log_2 \frac{1}{3}+\frac{2}{3}\log_2\frac{2}{3}\biggr]=0.91829...(bit)</math>
ניתן להראות בטכניקות מתחום [[חשבון וריאציות]] כי כאשר ההסתברות לקבלת הודעה שווה בין כל ההודעות האנטרופיה היא [[חסם (מתמטיקה)|מקסימלית]] ושווה ל-<math>\mathsf{MAX} (H)= \log_2|M|</math> כאשר <math>|M|</math> מייצג את מספר האיברים הקיים במרחב <math>M</math>, תכונה הנקראת [[עוצמה (מתמטיקה)|עוצמתו]] של <math>M</math>. ניתן לקבל אינטואיציה לתופעה זו באמצעות ההגדרה האיכותית של האנטרופיה. כאשר כל ההודעות מתקבלות בהסתברות שווה, אזי אין כל דרך להעדיף בחירת הודעה אחת על אחרת, ולכן יכולת הניבוי היא מינימלית, כלומר המרחב הוא הכי בלתי צפוי שיכל להיות. כמו כן בזכות כך שאנטרופיה המינימלית *מקסימלית* מתקבלת כאשר ההתפלגות אחידה, ניתן לראות באנטרופיה מדד לעד כמה ההתפלגות הנמדדת שונה מהתפלגות זו.
==== אנטרופיה משותפת ====
| |||