תורת האינפורמציה – הבדלי גרסאות

תוכן שנמחק תוכן שנוסף
שורה 22:
האנטרופיה המשותפת של שני משתנים מקריים<math>X,Y</math> מוגדרת כאנטרופיה של ההתפלגות המשותפת של <math>X,Y</math>:
 
<math display="block">H(X,Y)\; \overset{\underset{\mathrm{def}}{}}{=}\;\mathbb E I(xE_{X,y)=\mathbb EY} [-\log_2 p(x,y)]=
-\sum_{Xx,Yy}p(x,y)\log p (x,y)</math>כאשר המשתנים הם בלתי תלויים האנטרופיה המשותפת היא פשותפשוט סכום האנטרופיות של שניהם.
 
==== אנטרופיה מותנית ====
כאשר יודעים כי יש קשר בין המשתנים, ובנוסף לכך ידוע תוצאת אחד המשתנים המקריים אזי יש טעם בלהסיק מסקנות ממשתנה אחד על השני. אנטרופיה מותנית היא האנטרופיה שנגררת בעקבות ידיעה של אחד משני משתנים בעלי התפלגות משותפת. כאשר ידוע ערך ספציפי של Y שהוא קבוע ועליו מחשבים את האנטרופי של X אז ערכה מוגדר על ידי:
 
<math display="inline">H(X|y)\; \overset{\underset{\mathrm{def}}{}}{=}\;\mathbb E I(E_{X|y)=\mathbb EY} [-\log_2 p(x|y)]=
-\sum_{x \in X}p(x|y)\log p (x|y)</math> כאשר <math display="inline"> p(x|y)=\frac{p(x,y)}{p(y)}</math>.
 
אולם באופן כללי כאשר ידוע המשתנה המקרה Y (לא רק ערך פרטי ספציפי שלו), ערך האנטרופיה המותנית ניתנת לחישוב על ידי שימוש בנוסחה להתפלגות מותנה כערך ספציפילעיל. ערכה של האנטרופיה המשותפת, אשר נקראת בתנאי שכזה גם דו המשמעות של X על Y, נתונה על ידי:
 
<math>H(X|Y)=\mathbb{E}_Y( H(X|y))=-\sum_{y \in Y}p(y)\sum_{x \in X}p(x|y)\log p (x|y)=\sum_{x,y}p(x,y)
שורה 39:
 
<math>H(X|Y)=H(X,Y)-H(Y)</math>
 
=== מידע משותף (העברת מידע) ===
אחד הכלים האנליטים החשובים ביותר בתורת המידע היא בדיקה כמות של עד כמה אפשר להסיק מידע מסויים ממשתנה מקרי אחד על משתנה מקרי אחר. האינפורמציה המועברת ל- X מ- Y נתונה על ידי :
 
<math>I(X;Y)=\sum_{x,y}p(y)p(x|y)\log_2\frac{p(x|y)}{p(x)} =\sum_{x,y}p(x,y)
\log_2\frac{p(x,y)}{p(x)p(y)}</math>
 
תכונה בסיסית של העברת מידע זו היא ש:
 
<math>I(X;Y)=H(X)-H(X|Y)</math>
 
כמו כן העברת המידע היא סימטרית ולכן מתקיים הביטוי הבא:
 
<math>I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y)</math>
 
==יישומים==