ניתוח מילולי – הבדלי גרסאות

[[תוכנית מחשב|תוכנית]] או [[פונקציה (תכנות)|פונקציה]] אשר מבצעת את הניתוח המילולי נקראת מנתח מילולי (lexer) או סורק (scanner).▼

תפקידו של המנתח המילולי הוא לבדוק עבור כל משפט האם אבני הבניין שמרכיבות אותו הן חוקיות לפי הגדרות [[שפת תכנות|שפת התכנות]]. לרוב, הגדרת אבני הבניין החוקיות מתבצעת בעזרת [[ביטוי רגולרי|ביטויים רגולריים]], ובהתאמה הסורק מתבסס על [[אוטומט סופי]]. תהליך פירוק המשפט נקרא Tokenize, כלומר, סיווג כל אבני הבניין לקטגוריות שלהם. בתהליך זה כל מילה במשפט (Lexeme) מסווגת ומוחלפת באסימון (Token) אליו היא מתאימה. האסימון הוא למעשה מחרוזת שהוקצתה לה (assigned) משמעות כלשהי, והוא בנוי (structured) כזוג המורכב משם האסימון וערך האסימון (אופציונלי).<ref name="auto">page 111, "Compilers Principles, Techniques, & Tools, 2nd Ed." (WorldCat) by Aho, Lam, Sethi and Ullman, as quoted in https://stackoverflow.com/questions/14954721/what-is-the-difference-between-token-and-lexeme</ref> אסימונים נפוצים הם: ▼