הקובץ robots.txt מכיל הנחיות למנועי חיפוש לגבי האופן בו עליהם לסרוק את האתר שלכם.
הקובץ מנחה את הבוטים ומציין למנועי חיפוש מסויימים (או לכולם) אילו כתובות, קבצים, או חלקים מסויימים באתר שלכם לסרוק ואלו לא.
אבל בואו קודם נבין מהו קובץ רובוט טקסט מושלם. כנסו למאמר בלינק
ישנן שתי דרכים ליצור קובץ robots.txt בוורדפרס. אציג את שתיהן ואתם תבחרו את השיטה המתאימה לכם ביותר.
שיטה 1: עריכת קובץ robots.txt באמצעות All in One SEO
All in One SEO הידוע גם בשם AIOSEO הוא התוסף הטוב ביותר לקידום אתרים בוורדפרס בשוק המשמש למעלה מ-2 מיליון אתרים.
התוסף קל לשימוש ומגיע עם עורך קבצי robots.txt.
AIOSEO מאפשר לכם להגדיר עבור האתר שלכם קובץ robots.txt, שיעקוף את קובץ ברירת המחדל ש WordPress יוצר.
התוסף AIOSEO נותן לכם שליטה רבה יותר על ההוראות שאתם נותנים לסורקי אינטרנט לגבי האתר שלכם.
הערה: גרסה חינמית של AIOSEO זמינה להורדה ומספקת תכונה זו.
אם התוסף טרם מותקן, התקינו אותו בלוח בקרה של וורדפרס, לפי הסרטון המצורף
לאחר שהתוסף מותקן ומופעל, אתם יכולים להשתמש בו כדי ליצור ולערוך את הקובץ שלכם, ישירות מלוח בקרה של וורדפרס.
עברו אל All in One SEO » כלים כדי לערוך את הקובץ.
עוברים ללשונית robots.txt editor
בלחיצה על הכפתור "open robots.txt" אפשר לראות איך נראה הקובץ .
כך נראה קובץ שלי
אסביר את המושגים שבקובץ:
- User-agent – מציין לאילו מנועי חיפוש ההנחיה המופיעה רלוונטית.
- כוכבית (*) – מציין כי ההנחיה רלוונטית עבור כל מנועי החיפוש ללא יוצא מן הכלל.
- Disallow – הנחיה זו המציינת איזה תוכן לא יהיה נגיש עבור ה user-agent שציינתם.
- /wp-admin/ – זהו הנתיב (path) שלא יהיה נגיש לאותו user-agent שציינתם.
- Allow – הנחיה זו המציינת איזה תוכן יהיה נגיש עבור ה user-agent שציינתם.
- /wp-admin/ – זהו הנתיב (path) שיהיה נגיש לאותו user-agent שציינתם.
למשל, יכולנו לחסום לרובוט גישה לספריה מסויימת:
Disallow: / sample-directory / לא יאפשר לרובוט לבקר בספרייה הרשומה.
או עמוד מסויים:
Disallow: /private_file.html – יחסום דף ספציפי
או תמונות מסויימות:
Disallow: /images/example.jpg – יחסום תמונות ספציפיות
או גישה לכל סוגי קובץ מסויימים:
Disallow: /*.gif$ – יחסום את הגישה של סוג הקובץ .gif, באופן דומה ניתן להוסיף כאן סוגי סיומות אחרים.
אם רוצים לערוך קובץ ברירת מחדל, יש לסמן Enable Custom Robots.txt
ולהוסף תנאים
*למרות שקובץ robots.txt נועד להנחות מנועי חיפוש לאילו עמודים אין עליהם לגשת, הוא משמש גם בכדי לציין לאלו היכן יושב קובץ ה XML Sitemap של האתר.
שיטה 2: לערוך קובץ באופן ידני באמצעות FTP
כל שעליכם לעשות הוא להתחבר לשרת שלכם ב-WordPress באמצעות FTP.
לאחר שתתחברו, תוכלו לראות את קובץ robots.txt בתיקיית השורש של האתר שלכם. (תחת public.html)
אם הקובץ לא נמצא, כפי שרואים בתמונה, ניצור אותו ידני.
