מערכת מומחה

מערכת מומחהאנגלית: Expert System) היא מערכת מידע ממוחשבת המתפקדת כמומחה אנושי, או מסייעת למומחה אנושי, בתחום ידע מסוים. זוהי תוכנית מחשב אשר מייצגת ידע, מסיקה ממנו מסקנות ומסוגלת להסביר את האופן בו קיבלה את מסקנותיה. המטרה הסופית היא לבצע תהליכים של פתרון בעיות בדומה לאלה המבוצעים על ידי מומחה אנושי. אחת הדרישות ממערכת מומחה היא שתיתן הסברים למסקנותיה - מתן ההסבר נחוץ כדי לשכנע באמיתות המסקנה. מערכות המומחה הראשונות פותחו בשנות השבעים, אך הן הפכו לפופולריות בשנות השמונים.[1] לאחר נסיגה בהצלחה בשנות התשעים, יש הטוענים כי הן חזרו להיות נפוצות בסוף שנות התשעים והאלפיים בשמות אחרים.[2] מערכות מומחה הן חלק מתחום העיסוק של מדע הבינה המלאכותית במדעי המחשב. ביסוד הבינה המלאכותית עומד הניסיון לפתח תוכניות מחשב המסוגלות להתמודד עם מיומנות אנושית הכוללת את ההיבטים ההכרתיים – חשיבתיים.

מערכת מומחה היא חלק ממשפחת מערכות מבוססות ידע, מערכות אלו מבוססות על ידע תחומי הלקוח מהחיים כדוגמת רפואה, ביולוגיה ואסטרונומיה.

ההיסטוריה של מערכות מומחה

עריכה

מאז הגדיר אלן טיורינג את "מבחן טיורינג" ב-1950, נעשו ניסיונות רבים לבנות תוכניות מחשב שיצליחו לעבור את המבחן, ולהיות ראויות לתואר בינה מלאכותית. למרות מספר הצלחות ראשוניות, בעיקר באקדמיה,[3][4][5] ההערכה הכללית היתה, לקראת סוף שנות ה-60, כי הטכנולוגיה לא הוכיחה את עצמה בעולם המעשי.[5]

ואז, בתחילת שנות ה-70, התחיל לעלות ענף אחד של הבינה המלאכותית, שהצליח לפרוץ מהאקדמיה אל עולם הארגוני והעסקי: מערכות מומחה.

שנות ה-70: עלייתן של מערכות המומחה

עריכה

בעוד שהניסיונות המוקדמים בבינה מלאכותית היו בשיטות אלגוריתמיות, היה תחום אחד בו החלו להתפתח שיטות שכונו "היוריסטיות", שמתמקדות בהתקרבות לפתרון, על ידי "כללי אצבע" לקיצור חיפושים גדולים מאד במרחב הפתרונות האפשריים: תחום המשחקים. הכנסת כללי אצבע כאלו לתוך אלגוריתמים מדויקים, הובילה להכרה בחשיבות המומחיות והידע בהגעה לביצועים המתקרבים ליכולות האדם במשחקים, כמו דמקה ושחמט. חוקרים החלו להאמין כי הכנסת כללים או חוקים, הבנויים על המומחיות של האדם, היא הכיוון ו"הדבר הבא" בבינה מלאכותית.[6]

המערכת הראשונה בה הוכנסו "חוקים" כחלק מרכזי ממערכת מומחה, אם כי עדיין לא בארכיטקטורה המלאה של מסד ידע, הייתה DENDRAL, שפותחה באוניברסיטת סטנפורד,[7] לסיוע לביוכימאים בזיהוי מולקולות. הפיתוח התחיל בשלהי שנות ה-60 והסתיים בתחילת שנות ה-70.

אולם, מערכת המומחה הראשונה המבוססת כולה על חוקים כמסד ידע, עם מנגנון הסקה מיוחד, הייתה Mycin, שנבנתה בשנות ה-70,[8] אף היא בסטנפורד, במעבדת הבינה המלאכותית (SAIL). המערכת נועדה לסייע לרופאים באבחון מחלות דם, והיא הראשונה בה הוגדר הידע בחוקים במבנה קבוע של "אם - אז" (IF - THEN), ובהגדרת החוקים שולבו "מומחים" בתחום.

פריצת הדרך של MYCIN הביאה ל"מבול" של פיתוחי מערכות מומחה במבנה החדש, רובן ככולן בעולם האקדמי. היו שכינו את התחום "מערכות מבוססות ידע" (Knowledge-Based Systems), והתחושה הכללית שזה "הדבר הבא" בבינה מלאכותית.[9] במקביל, קוצצו תקציבי המחקר בתחומים האחרים של הבינה המלאכותית, שנראה ככושלים לעומת הטכנולוגיה החדשה של מערכות המומחה.[10]

שנות ה-80: מערכות מומחה מגיעות לתעשייה

עריכה

פריצת הדרך של מערכות המומחה לשימוש תעשייתי ועסקי חלה עם הכרזת מערכת XCON בשנת 1980, בשיתוף פעולה בין אוניברסיטת קרנגי-מלון בשיתוף פעולה עם חברת המחשבים DEC.[11] המערכת, שהמשיכה להתפתח במהלך שנות ה-80, סייעה למהנדסי חברת המחשבים דיגיטל לקבוע תצורות למחשבים הנמכרים ללקוחותיה. המערכת הגיעה לכ-2,000 חוקים בבסיס הידע שלה, והחברה דיווחה על עלייה דרמטית ביעילות ובאיכות כתוצאה מהשימוש בה.[12]

גופים עסקיים רבים נכנסו בהתלהבות ליישום מערכות מומחה בתחום עיסוקם, וראו בכך יתרון תחרותי הכרחי, עם הצלחות מרשימות. אמריקן אקספרס, לדוגמה, דיווח על חסכון של עשרות מיליוני דולר בשנה כתוצאה מהכנסה לשימוש שוטף של מערכת מומחה לאישור אשראי.[13] גם בישראל נכנסו מערכות מומחה לשימוש שוטף בחיל האוויר (הראשון לפיתוח וקליטה לשימוש מבצעי).[14]

לאור ההצלחה הגדולה של פיתוחי מערכות מומחה, החלו להתפתח מוצרים שנועדו לאפשר פיתוח מהיר של מערכות מומחה, מעטפות (Expert System Shell) שנועדו ל"מהנדסי ידע" (Knowledge Engineers), וחברות חדשות נוסדו סביב מוצרים אלו. אחדות פיתחו מחשבים ייעודיים לצורך כלי הפיתוח (למשל: Symbolics)[15], אך עם התפתחות מיני-מחשבים ואחריהם מיקרו-מחשבים לשימוש כללי, התפתחו הכלים הפופולריים על מחשבים אלו. חברות מובילות בשוק היו בעיקר בארצות הברית (למשל: Neuron Data, Teknowledge), בצרפת (למשל: ILOG), וביפן (פרויקט "הדור החמישי").[16]

כמות הפעילות, דיווחי ההצלחה, גיוסי הכספים וההנפקות בבורסה של חברות מובילות, גרמו ליחס של "בועה" למערכות המומחה של שנות ה-80.[17][18]

שנות ה-90: מערכות המומחה נשארות מאחור

עריכה

הסימנים הראשונים לאכזבה ממערכות המומחה נראו כבר לקראת סוף שנות ה-80, כאשר החלו להתגלות חולשות ומגבלות, בעיקר בשלבים של מעבר מאב טיפוס מוצלח למערכת תפעולית כושלת.[19] האכזבות היו כואבות במיוחד לאור הציפיות הגבוהות של הארגונים ושל משקיעי הון סיכון, מהטכנולוגיה שתפתור את כל הבעיות.[20]

גם ביפן, שם נחשבו מערכות המומחה להצלחה גדולה בשנות ה-80 מבחינה טכנולוגית, וחברות הענק (כמו NEC, Toshiba, Hitachi, Fujitsu ואחרות) דיווחו על השקעות כבדות בנושא, המחקרים הראו כי קצב הגידול המצופה לא ענה על קריטריונים עסקיים.[21]

במקביל לאכזבה הכללית, היו גם הצלחות מרשימות, שהלכו נגד הזרם הכללי, ודיווחו על הצלחה של יישומים ושביעות רצון יוצאת דופן.[22] מספר חברות גדול כמו בואינג, IBM, לוסנט טכנולוגיות, זירוקס, ונאס"א נמנו על המצליחות בתחום בארצות הברית, ובישראל נמנו בנקים, משרדי ממשלה, קופות חולים, צה"ל, חברות ממשלתיות ותעשייתיות, על סיפורי הצלחה של מערכות מומחה משמעותיות.[23]

אולם, את התחושה הכללית הובילו קרנות הון סיכון וקרנות ממשלתיות שהשקיעו בתחום ולמעשה החליטו לעצור השקעות נוספות.[24] במקביל התחילו פרסומים על כישלונות[25] וידיעות על ירידה משמעותית בכמות המחקרים האקדמיים והדוקטורטים בנושא מערכות מומחה.[26]

את המגמה העצימה העובדה שהגיע שחקן חדש ונוצץ לעיר: האינטרנט. בשנות ה-90, התחילה ה"בועה" החדשה של האינטרנט, והיא גברה על ה"בועה" הקודמת של מערכות המומחה, באופן ברור ואף קיצוני.[27]

שנות ה-2000 (עד 2010): תחייה בשם אחר

עריכה

לאחר שהוכרזו כטכנולוגיה "מתה" בשנות ה-90, חל מהפך נוסף בהיסטוריה של מערכות המומחה: הן חזרו לתפוס מקום חשוב בשוק, אך בשם אחר. הטכנולוגיה הבסיסית שלהן חזרה להיות פופולרית, אך כעת בשם "מערכות מבוססות חוקים" (Rule Based Systems).[28] המגמה הייתה משמעותית כל כך, שחברת ניתוחי השוק הגדולה, גארטנר, הכריזה על "תחייה מחדש" של התחום, תוך שימוש בשם מערכות מבוססות חוקים, במקום הסיקור הקודם שהיה בשם מערכות מומחה.[29] נושא "החוקים" של הארגון הפך להיות שגור על מנהלים ואנשי המקצוע הבכירים של קהיליית מנתחי המערכות ואנשי התוכנה, כטכנולוגיה וכארכיטקטורה זהה לזו של מערכות המומחה של שנות ה-80, אך כעת גם בשילוב תשתיות האינטרנט שהיו נחלת הכלל.[30]

ההתייחסות לחוקים במקום ל"מומחה", יוצרת פחות ציפיות: לא עוד חיקוי המומחה, אלא ארגון ועיבוד נוח ויעיל של הידע הארגוני שמאפשר שימוש רחב בו, עם כל היתרונות המעשיים. ואכן, בניתוח לאחור של מספר הכשלונות של מימוש מערכות מומחה מול הכשלונות במימוש מערכות תוכנה רגילות, הממצאים מראים על שוויון מובהק; ההבדל הגדול היה ברמת הציפיות הגבוהה במיוחד ממערכות המומחה.[31]

סיפורי ההצלחה של מערכות מבוססות חוקים היו נחלת כל האנליסטים המרכזיים: ב"ריבוע הקסם" (Magic Quadrant) של חברת הייעוץ המובילה גארטנר לשנת 2005,[32] מופיעות הספקיות המובילות בעולם בעלות מנועי הסקה, כשלכולן סיפורי הצלחה ולקוחות מרשימים, ביניהן הישראלית ESI.[23] נוצרה קהיליה בינלאומית סביב הטכנולוגיה והגישה האסטרטגית של "חוקים עסקיים" והיא פעילה עד היום בעיתון ובכנסים מקצועיים.[33][34]

סוגי מערכות מומחה

עריכה
  1. מערכת המתמחה בזיהוי – מערכת הבודקת פרט אקראי ומזהה אותו, למשל זיהוי צורות.
  2. מערכת המתמחה באבחון – מערכת המאתרת את הגורמים לבעיה, כגון מערכת לאבחון רפואי.
  3. מערכת המתמחה בתיקון – מערכת המציעה פתרונות לבעיות שאותרו, כגון מערכת שתענה על השאלה: "מהן הפעולות אותן יש לנקוט במקרה והמחשב חדל לעבוד?".
  4. מערכת המתמחה בניבוי – מערכת המציגה את התוצאות האפשריות לאחר היווצרותו של מצב מסוים, למשל ניבוי מזג אוויר.
  5. מערכת הדרכה נבונה – מערכת המדריכה את המשתמש בבצוע פעולות, כגון הדרכת טכנאי בהרכבת חלק ופתרון בעיות בהרכבה.
  6. מערכת המתמחה בתכנון – מערכת הקובעת אילו פעולות יש לבצע כדי לקדם פרויקט ובאיזה שלבים, למשל פרויקט בנייה.
  7. משחקים – מערכת המדמה חשיבה של שחקן מומחה במשחק מסוים.
  8. מערכות לקבלת החלטות - כגון מתן הלוואות[35] (בנקים), חיתום ביטוח (חברות ביטוח), רכש ומלאי (גופים עם לוגיסטיקה מורכבת).

מבנה מערכת מומחה

עריכה
 
  1. בסיס ידע — Knowledge Base
  2. מערכת היסק — Inference Engine
  3. מערכת הסבר — Explanatory Interface
  4. ממשק למשתמש — User Interface

  מהווים את המעטפת

מרכיבי המערכת

עריכה

בסיס ידע

עריכה

בסיס הידע מתייחס לעולם התוכן המומחי של המערכת. הוא מתאר את המרכיבים של תחום הידע, ואת הקשרים הקיימים בין המרכיבים השונים. בדרך כלל מתואר בסיס הידע באמצעות נתוני יסוד – עובדות וכללים המתארים את הקשרים ביניהם. העובדות מתארות את תחום הידע, ויכולות להשתנות בהתאם למצב או הפרט שנבדק. החוקים מתארים את היחסים בין פרטים או מצבים בתחום הידע, בדרך כלל במבנה "אם [עובדה] אז [מסקנה]". הם כוללים את הידע המומחי בתחום, כלומר מה מומחה יכול להסיק מהעובדות.

בסיס הידע כולל את "המחשבה האנושית" הקיימת בתחום הידע המסוים: "מחשבה" זו באה לידי ביטוי בחוקים שתוארו לעיל. בסיס הידע מהווה חלק הכרחי עבור תוכנית מחשב האמורה להתנהג באופן אינטליגנטי.

מערכת היסק

עריכה

מערכת ההיסק מורכבת ממנגנון המסוגל להסיק מסקנות בהסתמך על בסיס הידע: העובדות והחוקים מתארים את הידע, בעוד שמנגנון ההיסק קובע כיצד לנתח את הידע המתקבל. מערכת ההיסק מתייחסת לבסיס הידע כאוסף של טענות הכוללות עובדות והחוקים בתחום הידע. מנגנון ההיסק מקשר בין בסיס הידע כדי להגיע למסקנה, יש להדגיש שמערכת ההיסק אינה תלויה בבסיס הידע עצמו ולכן היא מהווה גם חלק מהמעטפת הכללית. הכלליות של מערכת ההיסק נשמר בדרך כלל בכל מרכיביה.

לעיתים יש להכניס בה שינויים במעבר לתחום ידע חדש, שינויים אלו נשמרים בתחומי ידע שהמבנה הכללי שלהם דומה. חלק זה של המערכת המומחה הוא החשוב ביותר משום שהוא זה שמחקה את אופן המחשבה האנושית. במקרים רבים קיימים מסלולי פתרון רבים וכדי שהתשובה תהיה בזמן ריצה סביר חלק מהחוקים הם היוריסטיים כדי להגביל את החיפוש במרחב הפתרונות. הציפייה היא שמערכת מומחה תדע לנצל את הידע העומד ברשותה בצורה "מומחית" ויעילה.

מבנה מנגנון ההיסק תלוי בשני גורמים עיקריים. המבנה הטבעי של תחום הידע, והדרך בה הידע מאורגן ומיוצג במערכת המומחה. קיימות שפות תכנות המקלות על המתכנת בכך שיש בהן מערכת היסק בנויה כמו למשל בשפת פרולוג. שפות אחרות דורשות לתכנן וליישם מנגנון היסק. לכל אחת מן השיטות יש יתרונות וחסרונות משלה. שפה בה קיים מנגנון היסק דורשת פחות מאמץ בבנייתו. המגבלה היא בכך שמנגנון ההיסק הבנוי לא תמיד מתאים לדרך בה מתקבלות ההחלטות בתחום הידע. למתכנן יש מעט אפשרויות לשלוט על הדרך בה מאורגן הידע ולתכנן את תהליך הסקת המסקנות. שפות בהן אין מנגנון היסק בנוי מחייבות תכנון ויישום של מנגנון היסק, אך מאפשרות לו יותר שליטה והתערבות. מערכות מורכבות מעמידות מנגנון היסק בנוי אך מאפשרות גם להתערב כדי להתאימו לתחום הידע.

מערכת הסבר

עריכה

מערכת ההסבר מאפשרת למשתמש מעקב אחר תהליך הפתרון והסקת המסקנות של מערכת ההיסק.

המשתמש מצפה לדעת על פי אילו נתונים ועל פי אילו כללים התקבלה תשובת מערכת המומחה. המערכות נבדלות זו מזו במידת היכולת שלהן לפרט את המעקב אחר מערכת ההיסק. לפעמים אין צורך בחלקים מסוימים בהסבר, ותפקידה של המערכת הוא לנפות את אותם חלקים ולהציג למשתמש את החלקים המהותיים ביותר.

חשוב ביותר שהמערכת תהיה ידידותית, גמישה ושההסברים יהיו כרוכים ומובנים למשתמש. במערכות המתקדמות ניתנת יכולת ראיית החוקים עצמם בשפה טבעית, וראיית כל מסלול ההסקה לגבי כל החלטה או חישוב של המערכת[36].

חלק זה מקשר בין המערכת המומחה למשתמש.

המערכות נבדלות זו מזו במידה הידידות שלהן בקשר עם המשתמש ובאפשרויות השונות שהן מעמידות לרשות המשתמש לשם צפייה בחלקים השונים של המערכת. מרכיב בסיסי בממשק מאפשר למשתמש להציג שאלה למערכת בדרך נוחה, ולקבל את תשובת המערכת. בניגוד למערות תוכנה אחרות, הדרישה ממערכת מומחה היא שהמשתמש יקבל הסבר על החלטות המערכת, רצוי תוך ראיית החוקים שהביאו להחלטה. חלק חשוב נוסף שלא קיים בכל המערכות הוא ממשק המשרת את בונה בסיס הידע.

מעטפת

עריכה

המעטפת (Expert System Shell) כוללת את מנגנון ההיסק, מנגנון ההסבר וממשק המשתמש. ביכולתה להסיק מסקנות על פי בסיס הידע ולהסביר אותו למשתמש. המעטפת אינה תלויה בבסיס הידע ויכולה לפעול באותו אופן על בסיסי ידע שונים. מרכיבי המעטפת כלליים ואינם משתנים על פי תחום המומחיות, שכן שינוי בתחום התמחות יבוא לידי ביטוי רק בבסיס הידע. מעטפת טובה נותנת שירותים למתכנת המערכת וגם למשתמש בה, היא תכיל ממשק לבניית בסיס הידע היכול להיות מבוסס על שיטות ייצוג שונות.

במערכות מומחה ייעודיות המטפלות בתחום ידע מסוים לא מתייחסים למעטפת. מערכת כזו תכיל גם היא את כל המרכיבים שצוינו, אלא שתחום הידע בא לידי ביטוי, בנוסף לבסיס הידע, גם ביתר המרכיבים של המערכת.

מערכת מומחה הבנויה כמעטפת דורשת מאמץ ניכר יותר בפיתוחה אך משרתת אחר כך תחומי ידע שונים. מערכת מומחה ייעודית לא ניתן להפעיל על תחום ידע שונה, מאחר שהידע משולב בכל מרכיביה ולא ניתן להפרדה בקלות.

אתגרים בהנחות היסוד

עריכה

הנחת היסוד של מערכות המומחה היא שאדם שיסתמך על הידע המתועד של המומחה - יפעל ברמת המומחה, או קרוב אליה. לכאורה, יש בהנחה זו הגיון רב. אולם פילוסופים של המדע, במאות השנים האחרונות, מטילים בכך ספק רב. האם הציפייה שמה ש"עבד" פעם, יעבוד גם בעתיד היא נכונה? הפילוסוף הנודע דייוויד יום (David Hume) קבע[37] כבר במאה ה-18, כי הסקת מסקנות לגבי העתיד, על סמך ניסיון העבר, אינה אמינה.

האם המומחה עצמו מקבל את ההחלטות על סמך החוקים שמסר למערכת המומחה? מסתבר שהמומחה בדרך כלל אינו מודע לחוקים על פיהם הוא פועל, חלק מהידע שלו אינו "אלגוריתמי" (Tacit Knowledge), ואינו ניתן לניסוח על-ידי חוקים[38].

קבוצה נוספת של בעיות נוצרת מכך שבסיס הידע אינו מעודכן למצבים הדינמיים של החיים[39], החוקים אינם מכסים את כל המצבים ונדרשת מיומנות מיוחדת על מנת להגיע לדרגה של "מומחה" אמיתי: היכולת להתאים עצמנו למצבים חדשים ("Adaptive Expertise")[40]. יכולת זו אינה אלגוריתמית ולכן אינה חלק מהידע במערכת המומחה.

ראו גם

עריכה

לקריאה נוספת

עריכה
  • ג'יימס איגניזיו, "Introduction to Expert Systems" ‏(1991), ISBN 0-07-909785-5
  • ג'וזף גיארטנו, "Expert Systems, Principles and Programming"‏ (2005), ISBN 0-534-38447-1
  • פיטר ג'קסון, "Introduction to Expert Systems"‏ (1998), ISBN 0-201-87686-8
  • Hubert L. Dreyfus, What Computers Still Can't Do, Second Edition, London, England: The MIT Press, 1992 (1979), ISBN 0-262-04134-0 ; 0-262-54067-3. (באנגלית)

קישורים חיצוניים

עריכה
  מדיה וקבצים בנושא מערכת מומחה בוויקישיתוף

הערות שוליים

עריכה
  1. ^ Leondes, Cornelius T. (2002). Expert systems: the technology of knowledge management and decision making for the 21st century. pp. 1–22. ISBN 978-0-12-443880-4.
  2. ^ Yoram Romem, The Social Construction of Expert Systems, Human Systems Management 26, IOS Press, 2007, עמ' 291-309
  3. ^ Albert E. Murray, Frank Rosenblatt, and Marshall C. Yovitz, MARK I perceptron, MARK I perceptron press conference records, Cornell Aeronautical Laboratory Inc., 1960
  4. ^ David Hawkins, The Spirit of Play – A memoir for Stan Ulam, Los Alamos Science, Special issue, 1987
  5. ^ 1 2 Joseph Weizenbaum, W. H. Freeman at al, Computer Power and Human Reason, San Francisco, 1976, עמ' 3, 203
  6. ^ Computers, Artificial Intelligence, and Expert Systems in Biomedical Research, Joshua Lederberg - Profiles in Science, ‏2019-03-12 (באנגלית)
  7. ^ Joshua Lederberg, How DENDRAL Was Conceived and Born, ACM Symposium on the History of Medical Informatics, 1987, עמ' 5-19
  8. ^ "Notes on "Epistemology of a Rule-based Expert System, Clancey,W.J, Artificial Intelligence, Artificial Intelligence in Perspective 59, 1993, עמ' 191-204
  9. ^ .Goldstein, I. and Papert, S, Artificial Intelligence, Language and the Study of Knowledge, Cognitive Science, 1 Vol 1, 1977
  10. ^ Stottler Henke, Smarter Software Solutions (early 70s-1974)
  11. ^ Virginia E. Barker, Expert systems for configuration at Digital: XCON and beyond, Communications of the ACM, 3 Volume 32, 1989, עמ' 298-318
  12. ^ Walter Reitman, Artificial Intelligence Applications for Business, Ablex Pub, 1984, עמ' 150, 152
  13. ^ Harvey P. Newquist, The Brain Makers: Genius, Ego and Greed in the Quest for Machines that Think, Indianapolis, Indiana: Sams Publishing, 1994, עמ' 403
  14. ^ יורם רומם, חיל האוויר - יחידה 180, אני לוקח, ישראל: כנרת, זמורה, דביר, 2021, עמ' 212-221, 229-230
  15. ^ Symbolics Lisp Machine Museum
  16. ^ Edward Feigenbaum and Pamela McCorduck, The fifth Generation, Addison Wesley Publishing Company, 1983
  17. ^ Hans Moravec, The Great 1980s AI Bubble: A Review of The Brain Makers, AI Magazine, 3 15, עמ' 86
  18. ^ Howard Rheingold, 13, Tools for Thought, The MIT Press, 1985 edition
  19. ^ Thomas H. Devenport, Davenport, Thomas H. 1995. Management Agenda: Epitaph for Expert Systems?, InformationWeek, June 5, 1995, עמ' 116
  20. ^ David Millett and Philip Powell, Critical Success Factors in Expert System Development: A Case Study, London: PriceWaterhouseCoopers & University of London, 1999
  21. ^ Edward Feigenbaum, Knowledge-Based Systems in Japan (7), Knowledge-Based Systems in Japan, Baltimore, MD: Japanese Technology Evaluation Center, 1993
  22. ^ Gill T. Grandon, Early expert systems: Where are they now?, MIS Quarterly, 1 19, 1995, עמ' 51
  23. ^ 1 2 יורם רומם, 14. מנכ"ל אי.אס.איי, אני לוקח, כנרת, זמורה, דביר, 2021, עמ' 283-285
  24. ^ Bulkeley, W. M., Technology: Bright Outlook for Artificial Intelligence Yields to Slow Growth and Big Cutbacks, Wall Street Journal יולי 5, 1990, עמ' 1
  25. ^ Richard G. Vedder, An Expert System that was, Center for Quality and Productivity, University of North Texas, 1997
  26. ^ National Research Council, 9, Funding a Revolution: Government Support for Computing Research, Washington D.C.: National Academy Press, 1999, עמ' שרטוט 9.3
  27. ^ Harvey P. Newquist, The Brain Makers: Genius, Ego and Greed in the Quest for Machines that Think, Indianapolis, Indiana: Sams Publishing, 1994, עמ' 437
  28. ^ Michael P. Voelker, Business Makes the Rules, Intelligent Enterprise November 1, 2005
  29. ^ Jim Sinur, The Business Rules Market Resurrection Continues, Business Rules Journal, 9 4, 2003
  30. ^ Rounding Business Rules Up, Sue Hildreth, Computerworld, May 23, 2005, עמ' 24
  31. ^ William M. Ulrich, Knowledge Mining: Business Rule Extraction & Reuse, Tactical Strategy Group, Inc, 2001
  32. ^ Jim Sinur, Vendor Map ("Magic Quadrant") for Business Rule Engines, Gartner Research January 2005
  33. ^ Business Rules Journal
  34. ^ Kristen Seer, The 2005 Business Rules Awareness Survey, Business Rules Journal, No. 8 Vol 6, 2005
  35. ^ Newquist, Harvey P. 1994. The Brain Makers: Genius, Ego and Greed in the Quest for Machines that Think, P.403. Indianapolis, Indiana: Sams Publishing.
  36. ^ Yoram Romem, 2008. Expert Systems: the Promise, the Disappointment, the Comeback, P. 27. Bar-Ilan Univ. Israel, (Ph.D. dissertation)
  37. ^ David Hume, Enquiries Concerning Human Understanding and Concerning the Principles of Morals, Oxford: Oxford University Press, 1975. Original: 1748
  38. ^ Michael Polanyi, Personal Knowledge: Towards a Post-Critical Philosophy, The University of Chicago Press, 1958, עמ' 49
  39. ^ Diana Forthyte, Engineering Knowledge: The Construction of Knowledge in Artificial Intelligence, Social Studies in Science, 3 23, 1993, עמ' 445-77
  40. ^ Fisher, Frank and Peterson, Penelope, A Tool to Measure Adaptive Expertise in Biomedical Engineering Students, Proceedings of the American Society for Engineering Education Annual Conference, 2001, עמ' 2793