ויקיפדיה

תורת האינפורמציה – הבדלי גרסאות

עיון אינטראקטיבי בהיסטוריה
→ העריכה הקודמתהעריכה הבאה ←
תוכן שנמחק תוכן שנוסף
חזותיקוד ויקי
מ אחידות במיקום הערות שוליים ביחס לסימני פיסוק
עריכה משמעותית להתאמת התוכן למושגים המקובלים בתחום תורת האינפורמציה. חלק מהתוכן הושאר בהערה נסתרת.
שורה 1:
'''תורת האינפורמציה''' היא ענף של [[מתמטיקה שימושית]] בעל יישומים ב[[מדעי המחשב]] ו[[הנדסת חשמל]], העוסק במדידת מידע וביכולת להעביר מידע בין מקור ליעד כאשר ביניהם קיים ערוץ תקשורת. התחום מבוסס על [[הסתברות|תורת ההסתברות]], ועוסק בעיקר בבעיות תאורטיות, כגון חסמים על קצב המידע שניתן להעביר ללא שגיאות בערוץ נתון. מושגים וכלים שמוגדרים בתורת האינפורמציה איפשרו את פיתוחן של טכנולוגיות תקשורת מודרניות, ובמיוחד [[תקשורת ספרתית]], ויישומים כגון [[לוויין תקשורת|לווייני תקשורת]], [[אמצעי לאחסון נתונים|מערכות אחסון נתונים]], [[תקשורת סלולרית]] ו[[תקשורת נתונים]] בקצבים גבוהים.
'''תורת האינפורמציה''' היא ענף של [[מתמטיקה שימושית]], העוסקת בעיבוד וכימות [[מידע]], שעושה שימוש בשיטות מ[[הסתברות|תורת ההסתברות]] ומ[[סטטיסטיקה]] מתמטית.
 
שיטות וטכניקות שמקורן בתורת האינפורמציה נמצאים כיום בשימוש בתחומי ידע מגוונים, בהם [[הסקה סטטיסטית]], [[אינטליגנציה מלאכותית]], [[קריפטוגרפיה]], [[ביולוגיה]], [[מדעי המוח]] ו[[בלשנות]]. רעיונות ומודלים שמקורם בתחום נכנסו לשימוש גם בתחומי [[מדעי החברה]] כגון [[חינוך]], [[פסיכולוגיה קוגניטיבית]] ו[[תקשורת המונים]].
==יישומים==▼
תורת האינפורמציה מספקת דרך ל[[מדידה]] של מידע. היא מאפשרת להבין את גבולות הדחיסה דרך מושג ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] ואת גבולות ה[[תקשורת]] על ידי [[אינפורמציה הדדית|האינפורמציה ההדדית]] וקיבולת [[ערוץ תקשורת|ערוץ התקשורת]]{{הערה|שם=מקדונל}}.
 
לתורת האינפורמציה השלכות רבות ב[[מדעי המחשב]] ו[[הנדסת חשמל]]: התורה עוסקת ב[[מערכת תקשורת|מערכות תקשורת]], [[שידור נתונים]], [[דחיסת נתונים]], [[הצפנה]], [[תורת הדגימה (עיבוד אותות)|תורת הדגימה]], [[תיקון שגיאות]] ב[[קידוד נתונים]] ועוד.
 
==היסטוריה==
אבי תורת האינפורמציה הוא [[קלוד שאנון|קלוד אלווד שאנון]]. ב-1948 פרסם שאנון את המאמר המכונןA Mathematical Theory of Communication{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''', vol. 27, pp. 379–423, 623-656, July, October, 1948}}, אשר יצר לראשונה את הבסיס המתמטי עבור [[מערכת תקשורת|מערכות תקשורת]]. במאמר זה הגדיר שנון את ה[[סיבית]] כיחידת מידע ואת ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] של מקור מידע, שניתן לתארה ככמות הביטים המינימלית הנדרשת כדי לקודד מסר שיוצר מקור המידע, וכן סיפק הגדרה מתמטית כללית של [[ערוץ תקשורת]] כקשר סטטיסטי בין הודעות נשלחת והודעות מתקבלות. שאנון הראה לראשונה כי בעזרת פעולות [[קידוד]] מתאימות על ההודעות, ניתן להגיע ל'''תקשורת אמינה''' (קצב שגיאות קטן כרצוננו), כל עוד קצב העברת המידע (הנמדד בסיביות לשנייה) קטן מ[[אינפורמציה הדדית|האינפורמציה ההדדית]] בין המקור והיעד שאותה משרה הערוץ, גודל המוגדר כ'''קיבולת הערוץ'''. לעומת זאת, העברת מידע בקצב גבוה מקיבול הערוץ אינה אפשרית - קצב השגיאות יהיה גבוה עד כדי אובדן קשר סטטיסטי בין ההודעות הנשלחות והמתקבלות. תוצאה זו הייתה מפתיעה ולא שוערה לפני כן, אך היא הוכחה בפועל במערכות תקשורת רבות מספור בעקבות עבודתו של שאנון.
תורת האינפורמציה פותחה בתגובה לקשיים שבהם נתקלו [[הנדסת מערכות תקשורת|מהנדסי מערכות תקשורת]], אשר השתמשו במכשירים כמו [[טלפון]] ו[[מודם]]{{הערה|שם=מקדונל|Mcdonnell, M. D., Ikeda, S., & Manton, J. H. (2011). An introductory review of information theory in the context of computational neuroscience. Biological Cybernetics, 105(1), 55-70.}}.
 
מאמרו של שאנון היה לאחד המאמרים המשפיעים ביותר על המדע במאה ה-20, והוא מצוטט מעל 45 אלף פעמים במאמרים אקדמאים שונים{{הערה|נכון ל-2011, לפי [[Google Scholar]]}}. בעקבותיו פותחו שיטות לחישוב קיבול של ערוצי תקשורת תאורטיים ומעשיים שונים, ו[[חסם|חסמים]] על קצבי שגיאות בשיטות קידוד ופענוח שונות.
האדם שנחשב אבי תורת האינפורמציה הוא [[קלוד שאנון|קלוד אלווד שאנון]]. ב-1948 פרסם מאמר הסוקר את הבסיס המתמטי עבור [[מערכת תקשורת|מערכות תקשורת]]. במאמר זה הגדיר שנון את יחידת ה[[ביט]] ואת מושג ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] המתקשר לכמות הביטים המינימלית הנדרשת כדי לשמור או לשדר פיסת מידע מסוימת{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''', vol. 27, pp. 379–423, 623-656, July, October, 1948}}. עבודה זו בעלת השפעה רבה ביותר על המדע במאה ה-20, ומצוטטת מעל 45 אלף פעמים במאמרים אקדמאים שונים{{הערה|נכון ל-2011, לפי [[Google Scholar]]}}.
 
▲==יישומים==
רוב ה[[מחקר]] שעסק בתורת האינפורמציה נערך מנקודת מבט [[הנדסה|הנדסית]]{{הערה|שם=מקדונל}}.
היישום המעשי של תורתו של שאנון היה לתחום עיקרי ב[[הנדסת מערכות תקשורת]] שבמסגרתה פותחו שיטות ל[[אפנון]], [[קידוד תווים|קידוד]], [[דחיסת נתונים]], [[מקלט|קליטה]] ו[[קוד תיקון שגיאות|תיקון שגיאות]] שאיפשרו תקשורת אמינה על פני ערוצים מעשיים, החל מקווי [[טלפון]] ו[[טלגרף]], דרך אפיקי [[רדיו]] ועד [[סיב אופטי|סיבים אופטיים]] ו[[דיסק קשיח|מדיה מגנטית]] ו[[תקליטור|אופטית]].
המחקר התמקד בשיטות ל[[דחיסת נתונים]] אשר יכולות להגיע עד לגבולות ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]], או ב[[קוד תיקון שגיאות]], [[קידוד תווים]] ופענוח יעילים יותר{{הערה|שם=מקדונל}}.
 
התפתחות טכנולוגיות התקשורת אפשרה העברת מידע מסוגים שונים ומגוונים, כגון מלל, דיבור, מוסיקה, וידאו, וצירופים שלהם (כפי שניתן לעשות כיום במערכות [[דואר אלקטרוני]], [[מסרים מידיים]] ושרותי [[Web]]). תורת האינפורמציה והטכנולוגיות שנבנו על בסיסה אינן עוסקות ב[[משמעות]] של המידע{{הערה|שם=פרדוקס|Denning, P. J., & Bell, T. (2012). The Information Paradox. American Scientist, 100(6), 470-477.}}.
==התייחסות למושג המידע==
על פי תורת האינפורמציה הקלאסית של שאנון ניתן לשדר ולקלוט מידע באופן מדויק באמצעות תהליכים שאינם תלויים ב[[משמעות]] של המידע{{הערה|שם=פרדוקס|Denning, P. J., & Bell, T. (2012). The Information Paradox. American Scientist, 100(6), 470-477.}}. דוגמאות לכך הן [[דואר אלקטרוני]] ו[[מסרים מידיים]].
 
<!-- התוכן להלן אינו מתאים לערך זה, הוא הושאר כאן כדי לאפשר העברתו לערך אחר במידת הצורך
ה[[מחשב]]ים הרחיבו את תורת האינפורמציה בכך שהם יכולים להעביר ואף [[עיבוד נתונים|לעבד]] מידע ללא התייחסות למשמעות שלו{{הערה|שם=פרדוקס}}.
 
המחשבים פועלים על פי המידע שנמסר להם, אשר מורכב מ[[קוד מקור‎]] ונתונים. מבחינה זאת המחשב הוא מכונה המשתמשת במידע מסוים (מרמת ה[[תוכנה]]) כדי לבקר על האופן שבו הוא מעבד מידע אחר ([[בסיס נתונים]]) ללא תלות במשמעות שלו{{הערה|שם=פרדוקס}}.
אל הפלט של המחשב ניתן להתייחס כ[[מסמן]] המשמש כ"נשא" של מידע פוטנציאלי, אשר התוכן ה[[סמנטיקה|סמנטי]] שלו יכול להתחיל ולהתעורר רק עם הופעתו של מפרש כלשהו{{הערה|שם=פרשנות|Melnikova, E. V., & Melnikov, O. A. (2011). Scientific comprehension of the nature of information. Scientific and Technical Information Processing, 38(2), 99-104.}}.
לצורך כך על המפרש לאתר את קיומו של המסמן הנתון ולזהות את הפוטניצאל שלו. רק אז תהליכי הפרשנות והתקשורת יכולים לגבש את המידע הגלום במסמן ולהקנות לו צורה ממשית{{הערה|שם=פרשנות}}.
באופן זה [[מכונה|מכונות]] שאופן פעולתן אינו קשור למשמעות יכולות ליצור [[פלט]]ים בעלי משמעות עבור ה[[משתמש קצה|משתמשים]]{{הערה|שם=פרדוקס}}.
המידע הפורש המופק מפלט המחשב על ידי המשתמשים הוא בעל אופי סובייקטיבי. זאת משום שאנשים שונים יכולים לפרש מסומנים שונים בדרכים שונות, בהתאם ל[[אינטליגנציה]], ל[[ידע]] ולניסוןולניסיון העומד לרשותם{{הערה|שם=פרשנות}}.
-->
 
==ראו גם==
* [[מידענותמידע]]
* [[חישוביות]]
* [[תורת הקודים]]
 
== לקריאה נוספת ==
<div class="mw-content-ltr">
* Mcdonnell, M. D., Ikeda, S., & Manton, J. H. (2011). ''An introductory review of information theory in the context of computational neuroscience''. Biological Cybernetics, 105(1), 55-70.
* David J.C. MacKay, ''[http://www.inference.phy.cam.ac.uk/itprnn/book.pdf Information Theory, Inference, and Learning Algorithms]''. Cambridge University Press 2003.
</div>
 
==הערות שוליים==
{{הערות שוליים|יישור=שמאלימין}}
 
{{תבנית:מדעי המחשב}}
{{קצרמר|מדעי המחשב}}
 
[[קטגוריה:תורת האינפורמציה|*]]
אוחזר מתוך "https://he.wikipedia.org/wiki/תורת_האינפורמציה"