תורת האינפורמציה – הבדלי גרסאות
תוכן שנמחק תוכן שנוסף
שורה 22:
האנטרופיה המשותפת של שני משתנים מקריים<math>X,Y</math> מוגדרת כאנטרופיה של ההתפלגות המשותפת של <math>X,Y</math>:
<math display="block">H(X,Y)\; \overset{\underset{\mathrm{def}}{}}{=}\;\mathbb
-\sum_{
==== אנטרופיה מותנית ====
<math display="inline">H(X|y)\; \overset{\underset{\mathrm{def}}{}}{=}\;\mathbb
-\sum_{x \in X}p(x|y)\log p (x|y)</math> כאשר <math display="inline"> p(x|y)=\frac{p(x,y)}{p(y)}</math>.
אולם באופן כללי כאשר ידוע המשתנה המקרה Y (לא רק ערך פרטי ספציפי שלו), ערך האנטרופיה המותנית ניתנת לחישוב על ידי שימוש בנוסחה
<math>H(X|Y)=\mathbb{E}_Y( H(X|y))=-\sum_{y \in Y}p(y)\sum_{x \in X}p(x|y)\log p (x|y)=\sum_{x,y}p(x,y)
שורה 39:
<math>H(X|Y)=H(X,Y)-H(Y)</math>
=== מידע משותף (העברת מידע) ===
אחד הכלים האנליטים החשובים ביותר בתורת המידע היא בדיקה כמות של עד כמה אפשר להסיק מידע מסויים ממשתנה מקרי אחד על משתנה מקרי אחר. האינפורמציה המועברת ל- X מ- Y נתונה על ידי :
<math>I(X;Y)=\sum_{x,y}p(y)p(x|y)\log_2\frac{p(x|y)}{p(x)} =\sum_{x,y}p(x,y)
\log_2\frac{p(x,y)}{p(x)p(y)}</math>
תכונה בסיסית של העברת מידע זו היא ש:
<math>I(X;Y)=H(X)-H(X|Y)</math>
כמו כן העברת המידע היא סימטרית ולכן מתקיים הביטוי הבא:
<math>I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y)</math>
==יישומים==
|