תורת האינפורמציה – הבדלי גרסאות

האדם שנחשב אבי תורת האינפורמציה הוא [[קלוד שאנון|קלוד אלווד שאנון]]. ב-1948 פרסם מאמר הסוקר את הבסיס המתמטי עבור [[מערכת תקשורת|מערכות תקשורת]]. במאמר זה הגדיר שנון את יחידת ה[[ביט]] ואת מושג ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] המתקשר לכמות הביטים המינימלית הנדרשת כדי לשמור או לשדר פיסת מידע מסוימת.{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''', vol. 27, pp. 379–423, 623-656, July, October, 1948}} עבודה זו בעלת השפעה רבה ביותר על המדע במאה ה-20, ומצוטטת מעל 45 אלף פעמים במאמרים אקדמאים שונים{{הערה|נכון ל-2011, לפי [[Google Scholar]]}}.

 

המחקר התמקד בשיטות ל[[דחיסת נתונים]] אשר יכולות להגיע עד לגבולות ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]], או ב[[קוד תיקון שגיאות]], [[קידוד תווים]] ופענוח יעילים יותר{{הערה|שם=מקדונל}}.