משתמש:אכן/טיוטה

היסטוריה עריכה

פרק זה לוקה בחסר. אנא תרמו לוויקיפדיה והשלימו אותו. פרק ההיסטוריה נפסק באמצע וחסר התפתחויות חשובות משנות האלפיים.

שנת 1943 - ההתפתחות מדע רשתות העצביות עריכה

בשנת 1943 פרסמו שני חוקרים אמריקאים, ורן מקלוך (אנ') וולטר פיטס (אנ') מאמר,^[1] שהיווה בסיס להתפתחותו של מדע הרשתות העצביות. המאמר הציע מודל פשוט של פעולת הנוירון, שעליו מבוססות הרשתות המלאכותיות עד היום:

דוגמה לנוירון מלאכותי בסיסי. ארבעה נתוני קלט, המסומנים ב: i₁ עד i₄. אלו מייצגים את הדנדריטים ויכולים להיות מחוברים לעולם החיצון או לנוירונים אחרים. לקלט "משקל" יחסי, המבוטא על ידי משקולות המסומנות ב: w₁ עד w₄. משקולות אלו מייצגות את עוצמת הקשרים בין הדנדריטים של נוירון אחד לגוף התא בנוירון אמיתי שני

הנוירון מקבל קלטים (נהוג לסמן ב־i), כשלכל אחד מהם משקל יחסי (נהוג לסמן ב־w). כל נתון נשקל על ידי הכפלתו במשקולת המתאימה לו, כאשר התוצאה מסכום הקלטים המשוקללים:

סכום = $\langle i,w\rangle =\sum _{j}i_{j}w_{j}=O$ .

אם סכום זה (המהווה במובן הביולוגי את הגירוי הכולל המגיע לנוירון) גבוה מסף ידוע כלשהו, הנוירון מעביר פלט "1"; אם לא, הפלט הוא "0".

תהליך זה מזכיר פעולה של נוירון אמיתי, המפיק אות חשמלי כשהגירוי מספיק.

שימוש בנוירון לזיהוי תבנית. ניתן לקודד את הפיקסלים הכהים ב־1 ואת הבהירים ב־0. כעת, אם נחבר את הנוירון שלנו כמוצג בשרטוט ב', הוא ייתן פלט "1" בכל פעם שיראה תבנית זו. גם אם התבנית אינה מושלמת - האחדים אינם בדיוק אחד, והאפסים אינם בדיוק אפס - הנוירון עדיין יזהה את התבנית (במקרה זה נאמר, כי הנוירון עמיד לרעש). אולם, אם נכניס תבנית שונה לחלוטין כמו זו המוצגת בשרטוט 6ג', הנוירון לא יזהה אותה.

סידור המשקולות מהותי לתפקוד הרשת. המשקולות הן אלו שקובעות מהי התבנית שתזוהה, וקביעתן היא המשימה המרכזית של תוכנית הרשת העצבית.

שנת 1969 - נטישת הרשתות בעקבות מאמר על המגבלות ברשתות נוירונים עריכה

בשנת 1969 פרסמו מרווין מינסקי וסימור פפרט את ספרם "Perceptrons", שבו תקפו את הרעיונות העומדים מאחורי הרשתות העצביות. הספר הציג שתי בעיות בנוירון הבסיסי.^[2]

הבעיה הייתה זו: לא משנה אילו משקולות נשים על הקלט, לא נוכל ליצור את השער הלוגי Exclusive OR) XOR) עבור רשת עם שכבה יחידה. בנוסף טענו, שלמחשבים אין די כוח חישוב כדי להתמודד עם רשתות מורכבות. טיעונים אלו ונוספים עיכבו את המשך התפתחותן של הרשתות העצביות במשך שנים רבות. חוקרים רבים נטשו את התחום בחשבם כי אם הנוירון לא יכול לבצע משימה פשוטה זו, אין טעם בהמשך המחקר.^[^{דרוש מקור]}

למעשה, מה שהיה נחוץ כדי להתגבר על בעיה זו ועל בעיות דומות לה הוא לא נוירון אחד, כי אם רשת של נוירונים, והמתמטיקאי הרוסי אנדריי קולמוגורוב כבר הראה כי רשת נוירונים ב־3 שכבות תוכל לפתור XOR.^[^{דרוש מקור]}

נוירון יחיד אינו יכול לדַמוֹת שער XOR

רשת עצבית רב־שכבתית

שנת 1982 - עלייתן מחדש של רשתות הנוירונים בשנות השמונים עריכה

אף על פי שהפתרון היה ידוע, רק בשנים 1982–1983 התעורר שוב העניין במחקר הרשתות העצביות. בזמן זה, "אלגוריתם הפעפוע לאחור" זכה לפרסום נרחב.^[^{דרוש מקור]}

דוגמה לרשת עצבית

שנות האלפיים - למידה עמוקה עריכה

רשתות עצביות מלאכותיות זכו לעדנה מחודשת החל מהעשור הראשון של שנות ה־2000. בתקופה זו החל שימוש פופולרי במושג "deep belief nets" ובקיצור רשתות עמוקות שנטבע במאמר המשפיע מ־2006 של הינטון, אוסינדרו וטה.^[3] במסגרת למידה עמוקה נעשה נפוץ השימוש ברשתות עצביות מלאכותיות שבהן מספר שכבות חבויות.

בתקופה זו גברה ההתעניינות של חברות מסחריות ברשתות עצביות מלאכותיות. מאז 2012, כל המנצחות בתחרויות ראייה ממוחשבת גדולות בתחום זיהוי האובייקטים, כגון תחרות ImageNet, מבוססות על למידה עמוקה.^[4]

באופן טבעי, לאחר שב-2012, "למידה עמוקה" הייתה ה"אלגוריתם" שניצח את תחרות ImageNet(אנ'), ארכיטקטורות הרשתות זכתה לתשומת לב רבה, הן באקדמיה והן בתעשייה.

^ McCulloch, Warren; Walter Pitts (1943). "A Logical Calculus of Ideas Immanent in Nervous Activity". Bulletin of Mathematical Biophysics. 5 (4): 115–133. doi:10.1007/BF02478259.
^ Papert, Seymour; Minsky, Marvin Lee, Perceptrons: an introduction to computational geometry, Cambridge, Massachusetts: MIT Press, 1988, ISBN 978-0-262-63111-2
^ Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006). "A Fast Learning Algorithm for Deep Belief Nets" (PDF). Neural Computation. 18 (7): 1527–1554. doi:10.1162/neco.2006.18.7.1527. PMID 16764513.
^ ImageNet Challenge

[1] McCulloch, Warren; Walter Pitts (1943). "A Logical Calculus of Ideas Immanent in Nervous Activity". Bulletin of Mathematical Biophysics. 5 (4): 115–133. doi:10.1007/BF02478259.

[2] Papert, Seymour; Minsky, Marvin Lee, Perceptrons: an introduction to computational geometry, Cambridge, Massachusetts: MIT Press, 1988, ISBN 978-0-262-63111-2

[hinton06-3] Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006). "A Fast Learning Algorithm for Deep Belief Nets" (PDF). Neural Computation. 18 (7): 1527–1554. doi:10.1162/neco.2006.18.7.1527. PMID 16764513.

[4] ImageNet Challenge

[1]

[2]

[3]

[4]

	דף זה אינו ערך אנציקלופדי
	דף זה הוא טיוטה של אכן.