תורת האינפורמציה – הבדלי גרסאות
תוכן שנמחק תוכן שנוסף
Laugh Tough (שיחה | תרומות) מ ←היסטוריה: עדכון |
Laugh Tough (שיחה | תרומות) מ תיקון הערת שוליים |
||
שורה 6:
אבי תורת האינפורמציה הוא [[קלוד שאנון|קלוד אלווד שאנון]]. ב-1948 פרסם שאנון את המאמר המכונן "A Mathematical Theory of Communication"{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''', vol. 27, pp. 379–423, 623-656, July, October, 1948}}, אשר יצר לראשונה את הבסיס המתמטי עבור [[מערכת תקשורת|מערכות תקשורת]]. במאמר זה הגדיר שנון את ה[[סיבית]] כיחידת מידע ואת ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] של מקור מידע, שניתן לתארה ככמות הביטים המינימלית הנדרשת כדי לקודד מסר שיוצר מקור המידע, וכן סיפק הגדרה מתמטית כללית של [[ערוץ תקשורת]] כקשר סטטיסטי בין הודעות נשלחת והודעות מתקבלות. שאנון הראה לראשונה כי בעזרת פעולות [[קידוד]] מתאימות על ההודעות, ניתן להגיע ל'''תקשורת אמינה''' (קצב שגיאות קטן כרצוננו), כל עוד קצב העברת המידע (הנמדד בסיביות לשנייה) קטן מ[[אינפורמציה הדדית|האינפורמציה ההדדית]] בין המקור והיעד שאותה משרה הערוץ, גודל המוגדר כ'''קיבולת הערוץ''' (Channel capacity). לעומת זאת, העברת מידע בקצב גבוה מקיבולת הערוץ אינה אפשרית - קצב השגיאות יהיה גבוה עד כדי אובדן קשר סטטיסטי בין ההודעות הנשלחות והמתקבלות. תוצאה זו הייתה מפתיעה ולא שוערה לפני כן, אך היא הוכחה בפועל במערכות תקשורת רבות מספור בעקבות עבודתו של שאנון.
מאמרו של שאנון היה לאחד המאמרים המשפיעים ביותר על המדע במאה ה-20, ונכון ל-2014 הוא מצוטט מעל 65 אלף פעמים במאמרים אקדמאים שונים{{הערה|1=על פי [http://scholar.google.co.il/scholar?q=A+Mathematical+Theory+of+Communication Google Scholar]}}. בעקבותיו פותחו שיטות לחישוב קיבול של ערוצי תקשורת תאורטיים ומעשיים שונים, ו[[חסם|חסמים]] על קצבי שגיאות בשיטות קידוד ופענוח שונות.
==יישומים==
| |||