גם אם אין לכם קובץ רובוט טקסט, מנועי החיפוש יסרקו ויוסיפו לאינדקס את האתר שלכם. עם זאת, לא תוכלו לומר למנועי החיפוש אילו דפים או תיקיות הם לא צריכים לסרוק.
עם זאת, ככל שהאתר שלכם גדל ויש לכם תוכן רב, סביר להניח שתרצו לקבל שליטה טובה יותר על אופן הסריקה והאינדקס של האתר.
הנה הסיבה.
לבוטים לחיפוש יש מכסת סריקה לכל אתר. 
המשמעות היא שהם סורקים מספר מסוים של דפים במהלך סשן סריקה. אם הם לא יסיימו לסרוק את כל הדפים באתר שלכם, הם יחזרו ויחדשו את הסריקה בהפעלה הבאה. 
זה יכול להאט את קצב ההוספה לאינדקס של האתר שלכם.
אתם יכולים לתקן זאת על ידי מניעת ניסיון לבוטים של חיפוש לסרוק דפים מיותרים כמו דפי הניהול שלכם ב-WordPress, קבצי פלאגין ותיקיית ערכות נושא.
על ידי אי אישור של דפים מיותרים, אתם חוסכים את מכסת הסריקה שלכם.
זה עוזר למנועי החיפוש לסרוק עוד יותר דפים באתר שלכם ולהוסיף אותם לאינדקס במהירות האפשרית.
סיבה טובה נוספת להשתמש בקובץ רובוט טקסט היא שכאשר אתם רוצים למנוע ממנועי חיפוש להוסיף לאינדקס פוסט או דף באתר שלכם – תגדירו אותם כדפים לא לסריקה. 
זו לא הדרך הבטוחה להסתיר תכנים מהציבור הרחב, אבל היא תעזור לכם למנוע את הופעתם בתוצאות החיפוש.