ביטוי רגולרי

ביטוי רגולרי (מאנגלית: Regular expression או regex) הוא רצף תווים שמגדיר תבנית חיפוש. בהגדרתו הכללית ביותר פירושו ביטוי בשפה רגולרית (שפה מתוקננת), שמוגדרת כשתי מחרוזות או יותר הכפופות לתקנות תחביר מסוימות (יהיו תקנות אלו אשר יהיו).

תווי-מטא (Meta characters) משתנים מעט משפה רגולרית אחת לאחרת אך דוגמאות נפוצות לתווי מטא הם למשל נקודה (.), לוכסן אחורי (\), גג (^) ועוד, אשר מאפשרים לבצע במסמך ממוחשב פעולות שונות של טיפול במידע (בפרט חיפוש והחלפה). תווי המטא הללו נבדלים לפי הגדרה מתווים רגילים (כמו האותיות a ו-b); בעוד שתווים רגילים מסמלים את עצמם תווי-מטא מסמלים משהו אחר שאינו הם עצמם (למשל, גג משקף את הערך "תחילת השורה").

לביטויים רגולריים שימושים רבים בשפות תכנות (בעיקר שפות סקריפטים ומעטפות פקודה, כגון perl, bash ועוד). שימוש נפוץ נוסף של ביטויים רגולריים הוא בעריכת טקסט בעורכי טקסט כגון Notepad++ או Vim.

תחביר נפוץ במיוחד שלהם הוא PCRE (ראשי תיבות של Perl Compatible Regular Expressions) ולביטויים רגולריים אלה סט ייחודי של תווי-מטא המבדיל אותם מתחבירים אחרים.

הפופולריות של הביטויים הרגולריים גברה בעקבות הפונקציונליות שלהם בפקודות ה-UNIX הנפוצות: grep ו-sed, אך כיום הם משמשים למגוון משימות מבוססות טקסט, לרבות יישומי רשת (XML, HTML), מסדי-נתונים (שפת SQL) ועוד.

בתורת השפות הפורמליות, ביטוי רגולרי הוא ביטוי שמסוגל לתאר אוסף של מילים (שפה) באמצעות שימוש בשלוש פעולות בסיסיות. חשיבותם של הביטויים הרגולריים נובעת מהקשר שלהם לשפות הרגולריות: כל שפה רגולרית (כלומר, המתקבלת על ידי מכונת מצבים סופית) ניתנת להצגה באמצעות ביטוי רגולרי, וכל ביטוי רגולרי מייצג שפה רגולרית (כלומר, יש שקילות בין השפות הרגולריות והביטויים הרגולריים).

הגדרה פורמלית

בהינתן אלפבית סופי $\ \Sigma$, ביטוי רגולרי מעל האלפבית מוגדר בצורה הרקורסיבית הבאה:

• $\ \emptyset$ (הקבוצה הריקה) היא ביטוי רגולרי, שמתאר את השפה $\ \emptyset$ (השפה הריקה).
• $\ \varepsilon$ (המילה הריקה) היא ביטוי רגולרי שמתאר את השפה $\ \left\{\varepsilon \right\}$ (השפה שמכילה רק את המילה הריקה).
• $\ a$, לכל $\ a\in \Sigma$, הוא ביטוי רגולרי שמתאר את השפה $\ \left\{a\right\}$.

כמו כן, אם $\ R,S$ הם ביטויים רגולריים ו-$\ L\left[R\right],L\left[S\right]$ השפות המתאימות להם, אז:

• $\ \left(R+S\right)$ הוא ביטוי רגולרי המייצג את השפה $\ L\left[R\right]\cup L\left[S\right]$.
• $\ \left(R\cdot S\right)$ הוא ביטוי רגולרי המייצג את השפה $\ L\left[R\right]\cdot L\left[S\right]$. (כלומר, השפה שכל מילה בה מורכבת משני חלקים, שהראשון שבהם שייך ל-$\ L\left[R\right]$ והשני ל-$\ L\left[S\right]$).
• $\ \left(R^{*}\right)$ הוא ביטוי רגולרי, של כוכב קלין, המייצג את השפה $\ L\left[R\right]^{*}$ (כלומר, השפה שבה כל מילה מורכבת ממספר כלשהו - כולל 0 - של חלקים, וכל חלק שייך לשפה $\ L\left[R\right]$).

כדי לקצר את הכתיבה ולהמעיט ככל הניתן בשימוש בסוגריים, נהוגים כללי קדימויות. סדר הקדימויות מזכיר למדי את זה שנהוג באריתמטיקה:

1. סוגריים: $\ \left(,\right)$ - הפעולות שבתוך הסוגריים תמיד יתבצעו לפני הפעולות שמחוץ להן.
2. איטרציה: $\ r^{*}$. אופרטור הכוכב נקרא גם סגור קלין.
3. כפל: $\ r\cdot s$. כאשר אין חשש לבלבול משמיטים את סימן הכפל לחלוטין: $\ rs$.
4. חיבור: $\ r+s$.

דוגמאות

1. הביטוי הרגולרי $\ R=1^{*}0^{*}$ מסמל את השפה שבה יש מספר כלשהו של 1-ים ואחריו מספר כלשהו של 0-ים: $\ L\left[R\right]=\left\{1^{m}0^{n}|m,n\geq 0\right\}$.
2. הביטוי הרגולרי $\ R=1\left(0+2\right)^{*}\left(1+\varepsilon \right)\left(0+2\right)^{*}$ מסמל את השפה שכל מילה בה מתחילה ב-1 ואחר כך כוללת רצף כלשהו של 0 ו-2, כאשר 1 יכול להופיע פעם אחת נוספת במילה.

הוכחת השקילות בין ביטויים רגולריים ושפות רגולריות

כאמור לעיל, כל ביטוי רגולרי מתאר שפה רגולרית, ולכל שפה רגולרית קיים ביטוי רגולרי המתאר אותה.

ביטוי רגולרי יוצר שפה רגולרית

ההוכחה היא באינדוקציה פשוטה. קל להראות שהשפה הריקה וכל שפה שמכילה מילה אחת היא רגולרית, וכן שהשפות הרגולריות סגורות תחת איחוד, שרשור ואיטרציה (כוכב קלין). מכיוון שהשפה שיוצר כל ביטוי רגולרי מתקבלת על ידי ביצוע פעולות של איחוד, שרשור ואיטרציה על אבני בניין בסיסיות שהן השפה הריקה ושפות שמכילות רק מילה אחת, הטענה נובעת מיד.

לכל שפה רגולרית קיים ביטוי רגולרי

טענה זו מסובכת יותר להוכחה. בהינתן שפה רגולרית $\ L$ על פי ההגדרה קיים אוטומט סופי דטרמיניסטי $\ A$ המקבל אותה. הביטוי הרגולרי נבנה בהתבסס על האוטומט. לצורך נוחות מסמנים את קבוצת המצבים שלו במספרים הטבעיים: $\ Q=\left\{q_{1},\dots ,q_{n}\right\}$, כאשר $\ q_{1}$ הוא המצב ההתחלתי.

לצורך ההוכחה מוגדרות שפות עזר: $\ L_{ij}^{k}$ מוגדרת כשפת כל המילים שמעבירות את האוטומט מהמצב $\ q_{i}$ למצב $\ q_{j}$ מבלי שהמסלול ייכנס וייצא ממצב שמספרו גדול מ-$\ k$. ברור כי $\ L(A)=\bigcup _{j:q_{j}\in F}L_{1j}^{n}$ - השפה שמקבל האוטומט היא אוסף כל המילים שמעבירות את האוטומט מהמצב הראשון למצב מקבל כלשהו, כאשר אין הגבלה על המצבים שמותר למסלול לעבור בדרך.

בשל כך מספיק להראות כיצד ניתן לקבל ביטוי רגולרי עבור השפה $\ L_{ij}^{k}$. הביטוי נבנה באופן רקורסיבי בהתבסס על ערכו של $\ k$. כאשר $\ k=0$ השפה $\ L_{ij}^{0}$ היא אוסף כל המילים שמעבירות את האוטומט מהמצב $\ q_{i}$ למצב $\ q_{j}$ מבלי לעבור שום מצב ביניים בדרך (שכן מספרו של כל אחד מהמצבים גדול מ-0). כלומר, מילים אלו הן אותיות או המילה הריקה. לכן לשפה $\ L_{ij}^{0}$ קיים ביטוי רגולרי פשוט.

עבור $\ k>0$ מתבססים על האבחנה הבאה: אם מילה שייכת ל-$\ L_{ij}^{k}$, או שהיא מעבירה את האוטומט מ-$\ q_{i}$ אל $\ q_{j}$ מבלי לעבור במצב $\ q_{k}$ - ואז היא שייכת גם ל-$\ L_{ij}^{k-1}$, או שהאוטומט בריצתו על המילה כן עובר במצב $\ q_{k}$ מספר כלשהו של פעמים.

אם האוטומט עובר ב-$\ q_{k}$ ניתן לחלק את ריצתו לשלושה חלקים: הריצה עד שהוא מגיע אל $\ q_{k}$ לראשונה; המשך הריצה עד שהוא מגיע ל-$\ q_{k}$ בפעם האחרונה; והמשך הריצה עד ההגעה אל $\ q_{j}$

הרישא של המילה, שמעבירה את האוטומט מ-$\ q_{i}$ אל $\ q_{k}$ שייכת לשפה $\ L_{ik}^{k-1}$, ובצורה דומה גם הסיפא של המילה, שמעבירה את האוטומט מ-$\ q_{k}$ אל $\ q_{j}$ שייכת ל-$\ L_{kj}^{k-1}$. החלק הפנימי של המילה, שגורם לאוטומט לצאת מ-$\ q_{k}$ ולחזור אל $\ q_{k}$ מספר כלשהו של פעמים שייך ל-$\ \left(L_{kk}^{k-1}\right)^{*}$.

מכאן נובע שאם $\ r_{ij}^{k}$ הוא הביטוי הרגולרי המתאים לשפה $\ L_{ij}^{k}$, הרי שמתקיים:

$\ r_{ij}^{k}=r_{ik}^{k-1}\left(r_{kk}^{k-1}\right)^{*}r_{kj}^{k-1}+r_{ij}^{k-1}$. בצורה זו ניתן לבנות ביטוי רגולרי לכל אחת מהשפות $\ L_{ij}^{k}$ תוך התבססות על הביטויים שכבר נבנו עבור ערכים קטנים יותר של $\ k$.

שימושים בתכנות

לביטויים רגולריים שימוש נרחב ביישומי תכנות למיניהם. מכיוון שכל ביטוי מזוהה עם מכונה אוטומטית סופית, קל לתרגם ביטוי רגולרי לתוכנה המזהה את קבוצת המילים המוגדרות על ידי אותו ביטוי. לדוגמה, מספר טלפון בישראל ניתן לזיהוי על ידי ביטוי רגולרי מהצורה $R=(0(\Gamma +\epsilon )\Gamma -\Gamma ^{7}))$, כאשר האלפבית הוא כלל הספרות ומקף, ו$\Gamma =(0+1+2+3+4+5+6+7+8+9)$. לכל שפת תכנות דרך שונה לייצג ביטוי רגולרי, אך כלל הייצוגים שקולים אלו לאלו, ולהגדרה הפורמלית המוצגת לעיל. למשל, בסטנדרט הנהוג ב-UNIX, ייכתב הביטוי לעיל בצורה $0[0-9][0-9]?-[0-9]\{7\}$.

דוגמה נוספת, הביטוי ab[2-5]de מתאים למילים ab2de,ab3de,ab4de ו-ab5de כיוון שפירושו הוא: כל המחרוזות בהם מופיעה האות a, לאחריה b, לאחריה מספר בין 2 ל-5 ואחר כך d ו-e. באופן דומה, הביטוי a.b פירושו האות a ו-b וביניהן כל תו, והביטוי ab*c פירושו האותיות a ו-c וביניהן האות b בכמות כלשהי (ac,abc,abbc,abbbbbbbc וכו').

• ב-Vi, מעבד התמלילים הנפוץ במערכות UNIX, הפקודה הבאה:

%s/gr[ea]y/white/

תחליף כל הופעה של המילה grey או gray במילה white. (% מפעיל את הפקודה על כל השורות ו-s פירושו החלפה, substitute).

• התוכנה grep התפתחה מפקודה שהייתה נפוצה בעורך הטקסט הישן, ed, ופירוש שמה הוא:

search globally for lines matching the regular expression, and print them כלומר, אם למשל נרצה להדפיס את כל השורות בקובץ בשם input.txt המתחילות בספרה 2,3,4 או 5 נעשה זאת כך:

grep "^[2-5]" input.txt

• בתוכנת sed, נוכל למשל למחוק כל שורה ריקה או שיש בה רק רווחים (* פירושו 0 או יותר מופעים, $ פירושו סוף השורה):

sed -e '/^ *$/d' in.txt

• בשפת perl השימוש בביטויים רגולריים נמצא בשורשה של השפה וקיימת תמיכה ברמה הגבוהה ביותר בכל סוגי הביטויים. רמה זאת הפכה לסטנדרט אליו מושווה רמת התמיכה בשפות ותוכנות אחרות. הפקודה הבאה תחליף כל מקום בו מופיעה המילה grey ב-blue אך רק כאשר לאחריה מופיעה המילה sky (סימן שאלה והסימן שווה פירושו "הצץ קדימה").

$line=~s/grey(?= sky)/blue/g

• בסביבת הדוט נט ישנה מחלקה מיוחדת לטיפול בביטויים רגולריים (System.Text.RegularExpressions) שבאמצעותה ניתן לאתר, להחליף תת-מחרוזות, ולקבל רשימה של התאמות במחרוזת לפי ביטויים רגולריים.

• תוכנת Oracle מאפשרת לשלב ביטויים רגולריים בשאילתות SQL החל מגרסה 10. השאילתה הבאה תציג את כל הרשומות שבהן יש במיקוד (השדה zip) סימנים כלשהם שאינם ספרות:

SELECT zip FROM zipcode WHERE REGEXP_LIKE(zip, '[^[:digit:] ]')

כיום ניתן למצוא תמיכה בביטויים רגולריים כמעט בכל שפת תכנות נפוצה. כדאי להעיר שבמרבית המקרים, התמיכה שיש בשפות התכנות בביטויים רגולריים מרחיבה את הביטויים האפשריים גם לכאלו שמבחינה תאורטית אינם רגולריים. במנועי חיפוש כמעט ולא מוצאים אופציות לשימוש בביטויים רגולריים, דוגמה חיובית לכך הייתה מנוע החיפוש של גוגל לקטעי קוד, Google Code Search, שפעל בין 2006—2012. דוגמה למנוע חיפוש פנימי באתר גדול, שהייתה בו בעבר תמיכה מוגבלת בביטויים רגולריים, אך היא בוטלה, הוא eBay. אתר ויקיפדיה תומך בחיפוש ביטויים רגולריים בחיפוש בקוד המקור (insource://). פירוט לגבי כל סוגי התווים המשמשים בביטויים רגולריים אפשר למצוא בקישורים בתחתית ערך זה.

לקריאה נוספת

• אוטומטים ושפות פורמליות, שמואל זקס ונסים פרנסיז, ‏חלק א, האוניברסיטה הפתוחה, 2000 וחלק ב, האוניברסיטה הפתוחה, 2000
• Jeffrey Friedl, Mastering Regular Expressions. O'Reilly Media 2006

קישורים חיצוניים

• גדי אלכסנדרוביץ', ביטויים רגולריים, באתר "לא מדויק", 29 בינואר 2015
• אתר לבניית ובדיקת ביטויים רגולריים
• מדריך בסיסי לשימוש בביטויים רגולריים וכן מדריך לימוד מלא, שניהם באנגלית, באתר regular-expressions
• A quick reference guide for regular expressions (regex) to get you started, באתר addedbytes
• ביטויים רגולריים בספריית התבניות התקנית של שפת ++C
• ביטויים רגולריים בפייתון
• ביטויים רגולריים בשפת פרל, אתר אית"ן
• ביטוי רגולרי, באתר MathWorld (באנגלית)