תורת האינפורמציה – הבדלי גרסאות
תוכן שנמחק תוכן שנוסף
שורה 22:
האנטרופיה המשותפת של שני משתנים מקריים<math>X,Y</math> מוגדרת כאנטרופיה של ההתפלגות המשותפת של <math>X,Y</math>:
<math display="block">H(X,Y)\; \overset{\underset{\mathrm{def}}{}}{=}\;\mathbb E I(x,y)=\mathbb E [-\log_2 p(x,y)]=
-\sum_{X,Y}p(x,y)\log p (x,y)</math>כאשר המשתנים הם בלתי תלויים האנטרופיה המשותפת היא פשות סכום האנטרופיות של שניהם.
-\sum_{X,Y}p(x,y)\log p (x,y)</math>▼
==== אנטרופיה מותנית ====
כאשר יודעים כי יש קשר בין המשתנים, ובנוסף לכך ידוע תוצאת אחד המשתנים המקריים אזי יש טעם בלהסיק מסקנות ממשתנה אחד על השני. אנטרופיה מותנית היא האנטרופיה שנגררת בעקבות ידיעה של אחד משני משתנים בעלי התפלגות משותפת. כאשר ידוע ערך ספציפי של Y שהוא קבוע ועליו מחשבים את האנטרופי של X אז ערכה מוגדר על ידי:
<math display="inline">H(X|y)\; \overset{\underset{\mathrm{def}}{}}{=}\;\mathbb E I(X|y)=\mathbb E [-\log_2 p(x|y)]=
-\sum_{x \in X}p(x|y)\log p (x|y)</math> כאשר <math display="inline"> p(x|y)=\frac{p(x,y)}{p(y)}</math>.
אולם באופן כללי כאשר ידוע המשתנה המקרה Y (לא רק ערך פרטי ספציפי שלו), ערך האנטרופיה המותנית ניתנת לחישוב על ידי שימוש בנוסחה להתפלגות מותנה כערך ספציפי. ערכה של האנטרופיה המשותפת, אשר נקראת בתנאי שכזה גם דו המשמעות של X על Y, נתונה על ידי:
<math>H(X|Y)=\mathbb{E}_Y( H(X|y))=-\sum_{y \in Y}p(y)\sum_{x \in X}p(x|y)\log p (x|y)=\sum_{x,y}p(x,y)
ומכאן ניתן לגזור תכונה בסיסית של אנטרופיה מותנית:
<math>H(X|Y)=H(X,Y)-H(Y)</math>
==יישומים==
| |||