אינפורמציה הדדית

בערך זה נעשה שימוש בסימנים מוסכמים מתחום המתמטיקה. להבהרת הסימנים ראו סימון מתמטי.

בתורת ההסתברות בתורת האינפורמציה, האינפורמציה ההדדית (או המידע ההדדי) (Mutual information) של שני משתנים אקראיים הוא מדד לתלות ההדדית בין שני המשתנים. ליתר דיוק, היא מכמתת את "כמות המידע" המתקבלת לגבי משתנה אקראי אחד על ידי צפייה במשתנה האקראי השני.

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

הגדרה

האינפורמציה ההדדית בין שני משתנים דיסקרטיים $X$ ו-$Y$ מוגדרת כ:

$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)},\,\!$

כאשר $p(x,y)$ היא ההתפלגות המשותפת שלהם, ו- $p(x),p(y)$ היא ההתפלגות של כל אחד מהמשתנים בנפרד, בהתאמה.

במקרה של משתנים רציפים, הסכום מוחלף באינטגרל כפול:

$I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,$

כאשר במקרה זה $p(x,y)$ היא הצפיפות המשותפת שלהם, ו- $p(x),p(y)$ היא הצפיפות של כל אחד מהמשתנים בנפרד, בהתאמה.

למען הדיוק יש להגדיר גם את בסיסי הלוגריתמים בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס $e$, ומציינים את הבסיס מראש.

הסבר אינטואיטיבי

אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת $X$ מלמדת על תוצאת $Y$:

1. אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים, ואי אפשר ללמוד כלום. כלומר, בתרשים לעיל, לא תהיה חפיפה כלל.
2. בקיצוניות השנייה, אם תוצאת $X$ מלמדת לחלוטין על תוצאת $Y$ (לדוגמה, אם מדובר באותו משתנה, או אם $Y=2X+1$), אז האינפורמציה ההדדית היא האנטרופיה של כ"א מהמשתנים האחרים, כלומר $I(X;Y)=H(X)$. כלומר, בתרשים לעיל, תהיה חפיפה מושלמת.

הקשר לגדלים אחרים בתורת האינפורמציה

אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ולאנטרופיה מותנית בצורה הבאה:

${\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\\&{}=H(Y)-H(Y|X)\\&{}=H(X)+H(Y)-H(X,Y)\\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}$

תכונות

1. אי שליליות : מידע הדדי הוא תמיד לא שלילי.
2. סימטרי: מידע הדדי הוא סימטרי, כלומר המידע ההדדי בין המשתנים X ו-Y זהה למידע ההדדי בין המשתנים Y ו-X.
3. יחידות: מידע הדדי הוא אוניטרי, כלומר המידע ההדדי בין משתנה לעצמו שווה לערך המקסימלי האפשרי של המידע ההדדי.
4. עלייה מונוטונית: המידע ההדדי עולה באופן מונוטוני, כלומר אם משתנה אחד הופך להיות תלוי יותר במשתנה אחר, המידע ההדדי בין שני המשתנים גדל.
5. בלתי משתנה תחת טרנספורמציות היפוכות: מידע הדדי הוא בלתי משתנה תחת טרנספורמציות היפוכות, כלומר הוא נשאר ללא שינוי כאשר המשתנים עוברים טרנספורמציה על ידי פונקציה הניתנת להפיכה.
6. תת-תוסף: מידע הדדי הוא תת-תוסף, כלומר המידע ההדדי בין שני משתנים קטן או שווה לסכום המידע ההדדי בין כל אחד מהמשתנים למשתנה שלישי.
7. סכום אפס למשתנים בלתי תלויים: אם שני משתנים בלתי תלויים, המידע ההדדי ביניהם שווה לאפס.

ראו גם

• אנטרופיה (סטטיסטיקה)
• אנטרופיה מותנית

קישורים חיצוניים

• אינפורמציה הדדית, באתר MathWorld (באנגלית)