|
'''תורת האינפורמציה (תורת המידע) ''' היא ענף של [[מתמטיקה שימושית]] בעל יישומים ב[[מדעי המחשב]] ו[[הנדסת חשמל]], העוסק במדידת מידע וביכולת להעביר מידע בין מקור ליעד כאשר ביניהם קיים ערוץ תקשורת. התחום מבוסס על [[הסתברות|תורת ההסתברות]], ועוסק בעיקר בבעיות תאורטיות, כגון חסמים על קצב המידע שניתן להעביר ללא שגיאות בערוץ נתון. מושגים וכלים שמוגדרים בתורת המידעהאינפורמציה איפשרו את פיתוחן של טכנולוגיות תקשורת מודרניות, ובמיוחד [[תקשורת ספרתית]], ויישומים כגון [[לוויין תקשורת|לווייני תקשורת]], [[אמצעי לאחסון נתונים|מערכות אחסון נתונים]], [[תקשורת סלולרית]] ו[[תקשורת נתונים]] בקצבים גבוהים.
שיטות וטכניקות שמקורן בתורת המידעהאינפורמציה נמצאים כיום בשימוש בתחומי ידע מגוונים, בהם [[הסקה סטטיסטית]], [[אינטליגנציה מלאכותית]], [[קריפטוגרפיה]], [[ביולוגיה]], [[מדעי המוח]] ו[[בלשנות]]. רעיונות ומדגמיםומודלים שמקורם בתחום נכנסו לשימוש גם בתחומי [[מדעי החברה]] כגון [[חינוך]], [[פסיכולוגיה קוגניטיבית]] ו[[תקשורת המונים]].
==היסטוריה==
אבי תורת המידעהאינפורמציה הוא [[קלוד שאנון|קלוד אלווד שאנון]]. ב-1948 פרסם שאנון את המאמר המכונן "A Mathematical Theory of Communication"{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''', vol. 27, pp. 379–423, 623-656, July, October, 1948}}, אשר יצר לראשונה את הבסיס המתמטי עבור [[מערכת תקשורת|מערכות תקשורת]]. במאמר זה הגדיר שנון את ה[[סיבית]] כיחידת מידע ואת ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] של מקור מידע, שניתן לתארה ככמות הביטים המינימלית הנדרשת כדי לקודד מסר שיוצר מקור המידע, וכן סיפק הגדרה מתמטית כללית של [[ערוץ תקשורת]] כקשר סטטיסטי בין הודעות נשלחת והודעות מתקבלות. שאנון הראה לראשונה כי בעזרת פעולות [[קידוד]] מתאימות על ההודעות, ניתן להגיע ל'''תקשורת אמינה''' (קצב שגיאות קטן כרצוננו), כל עוד קצב העברת המידע (הנמדד בסיביות לשנייה) קטן מ[[אינפורמציה הדדית|האינפורמציה ההדדית]] בין המקור והיעד שאותה משרה הערוץ, גודל המוגדר כ'''קיבולת הערוץ''' (Channel capacity). לעומת זאת, העברת מידע בקצב גבוה מקיבולת הערוץ אינה אפשרית - קצב השגיאות יהיה גבוה עד כדי אובדן קשר סטטיסטי בין ההודעות הנשלחות והמתקבלות. תוצאה זו הייתה מפתיעה ולא שוערה לפני כן, אך היא הוכחה בפועל במערכות תקשורת רבות מספור בעקבות עבודתו של שאנון.
מאמרו של שאנון היה לאחד המאמרים המשפיעים ביותר על המדע במאה ה-20, ונכון ל-2014 הוא מצוטט מעל 69 אלף פעמים במאמרים אקדמאים שונים{{הערה|1=על פי [http://scholar.google.co.il/scholar?q=A+Mathematical+Theory+of+Communication Google Scholar]}}. בעקבותיו פותחו שיטות לחישוב קיבול של ערוצי תקשורת תאורטיים ומעשיים שונים, ו[[חסם|חסמים]] על קצבי שגיאות בשיטות קידוד ופענוח שונות.
|
