אינפורמציה הדדית

Nuvola apps edu mathematics blue-p.svg

בערך זה
נעשה שימוש
בסימנים מוסכמים
מתחום המתמטיקה.
להבהרת הסימנים
ראו סימון מתמטי.

בתורת האינפורמציה, האינפורמציה ההדדית של שני משתנים מקריים היא גודל המודד את הקשר ההדדי ביניהם.

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

הגדרהעריכה

האינפורמציה ההדדית בין שני משתנים דיסקרטיים   ו-  מוגדרת כ:

 

כאשר   היא ההתפלגות המשותפת שלהם, ו-   היא ההתפלגות של כל אחד מהמשתנים בנפרד, בהתאמה.

במקרה של משתנים רציפים, הסכום מוחלף באינטגרל כפול:

 

כאשר במקרה זה   היא הצפיפות המשותפת שלהם, ו-   היא הצפיפות של כל אחד מהמשתנים בנפרד, בהתאמה.

למען הדיוק יש להגדיר גם את בסיסי הלוגריתמים בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס  , ומציינים את הבסיס מראש.

הסבר אינטואיטיביעריכה

אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת   מלמדת על תוצאת  :

  1. אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים, ואי אפשר ללמוד כלום. כלומר, בתרשים לעיל, לא תהיה חפיפה כלל.
  2. בקיצוניות השנייה, אם תוצאת   מלמדת לחלוטין על תוצאת   (לדוגמה, אם מדובר באותו משתנה, או אם  ), אז האינפורמציה ההדדית היא האנטרופיה של כ"א מהמשתנים האחרים, כלומר  . כלומר, בתרשים לעיל, תהיה חפיפה מושלמת.

הקשר לגדלים אחרים בתורת האינפורמציהעריכה

אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ולאנטרופיה מותנית בצורה הבאה:

 

ראו גםעריכה