היי, כדאי להוסיף התייחסות ל- robots.txt, שזה קובץ שמיועד לזחלנים, ואומר להם מה ההגבלות של הסריקה באתר, בעיקר כדי למנוע מהזחלן לנצל את רוחב הפס המוקצה משירות האכסון. (¯`gal´¯) - שיחה17:58, 20 באוקטובר 2011 (IST)תגובה
אולי כדאי גם להוסיף התייחסות לאפשרות לזהות זחלן באחת מהשיטות הבאות:
א. זיהוי באמצעות בדיקת ה-IP שאיתו הזחלן גולש לאתר, מול רשימות IP's ידועות של זחלנים לגיטימיים ואולי רצויים.
הבעיה בשיטה זו היא שניתן בקלות ליצור UserAgent עם כל מחרוזת, וכך להתחזות לזחלנים לגיטימיים.
הפיתרון לכך הוא בשיטה הבאה:
ג. לאחר זיהוי UserAgent כשל זחלן לגיטימי, לבצע בדיקת אימות דינמית על ה-IP שבה גולש הזחלן. כאשר הבדיקה כוללת reverse dns lookup כדי לקבל את ה-host name של ה-IP ולבדוק האם הוא מסתיים בדומיין שבעלי הזחלן הלגיטימי מפרסמים שהוא שלהם, ואז לבצע forward dns lookup כדי לבדוק מהכיוון ההפוך את ה-IP של הדומיין שקיבלנו בבדיקה הקודמת ולוודא שהוא אכן זהה ל-IP שגלש באתר.