אנטרופיה (סטטיסטיקה) – הבדלי גרסאות
תוכן שנמחק תוכן שנוסף
←קישורים חיצוניים: אנציקלופדיה למתמטיקה |
|||
שורה 13:
כדי שניתן יהיה להסביר תכונות אלה, עלינו להזכיר מושג יסודי אחר בסטטיסטיקה: התפלגות מותנית. אם X ו־Y שני משתנים מקריים, אז עבור כל ערך אפשרי y של Y, אפשר לבנות משתנה מקרי חדש <math>\ X|Y=y</math>, "[[התפלגות מותנית|המשתנה המותנה]]", המייצג את הערכים שיכול לקבל X אם ידוע ש־Y קיבל את הערך y. כאשר הערך של Y אינו ידוע, מסמנים את המשתנה המותנה בסימון <math>\ X|Y</math>; זהו, אם כך, משתנה מקרי, שהתפלגותו המדויקת תלויה בערך שיקבל Y.
נניח ש־S הוא מדד לגודלו של מרחב התפלגות: לכל
# '''אדיטיביות'''. אם X ו־Y שני משתנים מקריים [[תלות (סטטיסטיקה)|בלתי תלויים]], אז <math>\ S(X,Y)=S(X)+S(Y)</math>. במלים אחרות, S של מכפלה ישרה של מרחבי התפלגות שווה לסכום ערכי S של שני המרחבים.
שורה 20:
# '''נורמליות'''. הערך של S עבור ההתפלגות האחידה שלה שני מצבים, הוא 1.
כאמור, אנטרופית שאנון, H לעיל, היא היחידה המקיימת ארבע דרישות אלה.
'''הוכחה'''. ראשית נחשב את <math>\ S(p)</math>, שהוא הערך של S במשתנה ברנולי <math>\ b(p)</math>. יהיו <math>\ X,Y \sim b(p)</math> משתני ברנולי בלתי תלויים. נסמן ב-Z את המשתנה המוגדר להיות 0 אם X=Y ו-1 אחרת. Z הוא פונקציה של הזוג הסדור (X,Y), ולפי אקסיומות הפיצול והאדיטיביות, <math>\ 2S(p) = S(X)+S(Y)= S(X,Y) = S(X,Y|Z) + S(Z)</math>. אבל Z עצמו מתפלג ברנומלי, עם הסתברות 2pq להיות 1 (כאשר q=1-p). לפי ההגדרה, <math>\ S(X,Y|Z) = (p^2+q^2)S\left(\frac{p^2}{p^2+q^2}\right) + 2pqS\left(\frac{1}{2}\right).</math>, ולכן <math>2 S(p) = (p^2+q^2)S\left(\frac{p^2}{p^2+q^2}\right) + 2pqS\left(\frac{1}{2}\right)+ S\left(2pq\right)</math>. זוהי [[משוואה פונקציונלית]], שהפתרון היחיד שלה הוא <math>\ S(p) = -p \log_2p-q\log_2q</math>. את S עבור משתנה המקבל n ערכים אפשר לחשב באינדוקציה, על ידי התנייה בקבלת הערך האחרון: <math>\ S(p_1,\dots,p_n) = (1-p_n)S(\frac{p_1}{1-p_n},\dots,\frac{p_{n-1}}{1-p_n}) + S(p_n)</math>.
== דוגמה ==
| |||