אופטימיזציה של  Robots.txt עבור SEO

אופטימיזציה של Robots.txt עבור SEO

https://www.wpbeginner.com/wp-tutorials/how-to-optimize-your-wordpress-robots-txt-for-seo/

רובוט טקסט (Robots.txt) זהו קובץ  שאומר למנועי החיפוש כיצד לסרוק את האתר שלכם.

במאמר זה אראה לכם כיצד ליצור קובץ Robots.txt מושלם לקידום אתרים.

מהו קובץ רובוט טקסט (robots.txt)?

Robots.txt הוא קובץ טקסט שבעלי אתרים יכולים ליצור כדי לומר לבוטים של מנועי חיפוש כיצד והאם לסרוק דפים באתר שלכם.
הקובץ מאוחסן בדרך כלל בספריית השורש, הידועה גם בתור התיקיה הראשית, של האתר שלכם.
הפורמט הבסיסי של קובץ robots.txt נראה כך:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
  User-agent: [user-agent name]
Allow: [URL string to be crawled]
 Sitemap: [URL of your XML Sitemap]

כך יכול להיראות קובץ robots.txt לדוגמה:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

בדוגמה של רובוט טקסט לעיל,
בשורה ראשונה – אפשרנו למנועי חיפוש לסרוק קבצים באינדקס בתיקיית uploads של וורדפרס שלנו.
בשורות שניה ושלישית –  הודענו לבוטים לחיפוש לא לסרוק ולא להוסיף לאינדקס תוספים ותיקיות ניהול וורדפרס.
לבסוף – סיפקנו את כתובת האתר של מפת ה-XML שלנו.

האם כולם צריכים קובץ רובוט טקסט ( Robots.txt ) לאתר וורדפרס?

גם אם אין לכם קובץ רובוט טקסט, מנועי החיפוש יסרקו ויוסיפו לאינדקס את האתר שלכם. עם זאת, לא תוכלו לומר למנועי החיפוש אילו דפים או תיקיות הם לא צריכים לסרוק.
עם זאת, ככל שהאתר שלכם גדל ויש לכם תוכן רב, סביר להניח שתרצו לקבל שליטה טובה יותר על אופן הסריקה והאינדקס של האתר.
הנה הסיבה.
לבוטים לחיפוש יש מכסת סריקה לכל אתר. 
המשמעות היא שהם סורקים מספר מסוים של דפים במהלך סשן סריקה. אם הם לא יסיימו לסרוק את כל הדפים באתר שלכם, הם יחזרו ויחדשו את הסריקה בהפעלה הבאה. 
זה יכול להאט את קצב ההוספה לאינדקס של האתר שלכם.
אתם יכולים לתקן זאת על ידי מניעת ניסיון לבוטים של חיפוש לסרוק דפים מיותרים כמו דפי הניהול שלכם ב-WordPress, קבצי פלאגין ותיקיית ערכות נושא.
על ידי אי אישור של דפים מיותרים, אתם חוסכים את מכסת הסריקה שלכם.
זה עוזר למנועי החיפוש לסרוק עוד יותר דפים באתר שלכם ולהוסיף אותם לאינדקס במהירות האפשרית.
סיבה טובה נוספת להשתמש בקובץ רובוט טקסט היא שכאשר אתם רוצים למנוע ממנועי חיפוש להוסיף לאינדקס פוסט או דף באתר שלכם – תגדירו אותם כדפים לא לסריקה. 
זו לא הדרך הבטוחה להסתיר תכנים מהציבור הרחב, אבל היא תעזור לכם למנוע את הופעתם בתוצאות החיפוש.

איך נראה קובץ Robots.txt אידאלי?

בלוגים פופולריים רבים משתמשים בקובץ robots.txt פשוט מאוד. התוכן שלהם עשוי להשתנות, בהתאם לצרכים של האתר הספציפי:

User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

קובץ robots.txt זה מאפשר לכל הבוטים להוסיף לאינדקס את כל התוכן ומספק להם קישור למפות ה-XML של האתר.
עבור אתרי וורדפרס, מומלץ על הכללים הבאים בקובץ robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

זה אומר לבוטים להוסיף לאינדקס את כל התמונות והקבצים של וורדפרס. ולא מאפשר לבוטים להוסיף לאינדקס את אזור הניהול של וורדפרס, קובץ ה-readme. 
על ידי הוספת מפות אתר לקובץ robots.txt, אתם נותנים הוראה לבוטים של גוגל למצוא את כל הדפים באתר שלכם.
עכשיו כשאתם יודעים איך נראה קובץ robots.txt אידיאלי, בואו נסתכל על איך אתם יכולים ליצור קובץ robots.txt בוורדפרס.

איך ליצור קובץ Robots.txt בוורדפרס

איך ליצור קובץ Robots.txt בוורדפרס

הקובץ robots.txt מכיל הנחיות למנועי חיפוש לגבי האופן בו עליהם לסרוק את האתר שלכם.
הקובץ מנחה את הבוטים ומציין למנועי חיפוש מסויימים (או לכולם) אילו כתובות, קבצים, או חלקים מסויימים באתר שלכם לסרוק ואלו לא.

אבל בואו קודם נבין מהו קובץ רובוט טקסט מושלם. כנסו למאמר בלינק

ישנן שתי דרכים ליצור קובץ robots.txt בוורדפרס. אציג את שתיהן ואתם תבחרו את השיטה המתאימה לכם ביותר.

שיטה 1: עריכת קובץ robots.txt באמצעות All in One SEO

All in One SEO הידוע גם בשם AIOSEO הוא התוסף הטוב ביותר לקידום אתרים בוורדפרס בשוק המשמש למעלה מ-2 מיליון אתרים.
התוסף קל לשימוש ומגיע עם עורך קבצי robots.txt.

AIOSEO מאפשר לכם להגדיר עבור האתר שלכם קובץ robots.txt, שיעקוף את קובץ ברירת המחדל ש WordPress יוצר.
התוסף  AIOSEO נותן לכם  שליטה רבה יותר על ההוראות שאתם נותנים לסורקי אינטרנט לגבי האתר שלכם.

הערה: גרסה חינמית של AIOSEO זמינה להורדה ומספקת תכונה זו.
אם התוסף טרם מותקן, התקינו אותו בלוח בקרה של וורדפרס, לפי הסרטון המצורף

לאחר שהתוסף מותקן ומופעל, אתם יכולים להשתמש בו כדי ליצור ולערוך את הקובץ שלכם, ישירות מלוח בקרה של וורדפרס.
עברו אל All in One SEO » כלים כדי לערוך את הקובץ.

robots.txt

עוברים ללשונית robots.txt editor

robots.txt

בלחיצה על הכפתור "open robots.txt" אפשר לראות איך נראה הקובץ .
כך נראה קובץ שלי

robots.txt

אסביר את המושגים שבקובץ:

  • User-agent – מציין לאילו מנועי חיפוש ההנחיה המופיעה רלוונטית.
  • כוכבית (*) – מציין כי ההנחיה רלוונטית עבור כל מנועי החיפוש ללא יוצא מן הכלל.
  • Disallow – הנחיה זו המציינת איזה תוכן לא יהיה נגיש עבור ה user-agent שציינתם.
  • /wp-admin/ – זהו הנתיב (path) שלא יהיה נגיש לאותו user-agent שציינתם.
  • Allow – הנחיה זו המציינת איזה תוכן יהיה נגיש עבור ה user-agent שציינתם.
  • /wp-admin/ – זהו הנתיב (path) שיהיה נגיש לאותו user-agent שציינתם.

למשל, יכולנו לחסום לרובוט גישה לספריה מסויימת:
Disallow: / sample-directory / לא יאפשר לרובוט לבקר בספרייה הרשומה.

או עמוד מסויים:
Disallow: /private_file.html – יחסום דף ספציפי

או תמונות מסויימות:
Disallow: /images/example.jpg – יחסום תמונות ספציפיות

או גישה לכל סוגי קובץ מסויימים:
Disallow: /*.gif$ – יחסום את הגישה של סוג הקובץ .gif, באופן דומה ניתן להוסיף כאן סוגי סיומות אחרים.

אם רוצים לערוך קובץ ברירת מחדל, יש לסמן  Enable Custom Robots.txt

robots.txt

ולהוסף תנאים
*למרות שקובץ robots.txt נועד להנחות מנועי חיפוש לאילו עמודים אין עליהם לגשת, הוא משמש גם בכדי לציין לאלו היכן יושב קובץ ה XML Sitemap של האתר.

robots.txt

שיטה 2: לערוך קובץ באופן ידני באמצעות FTP

כל שעליכם לעשות הוא להתחבר לשרת שלכם ב-WordPress באמצעות FTP.
לאחר שתתחברו, תוכלו לראות את קובץ robots.txt בתיקיית השורש של האתר שלכם. (תחת public.html)
אם הקובץ לא נמצא, כפי שרואים בתמונה, ניצור אותו ידני.

יצירת קובץ ידני
יצירת קובץ ידני
יצירת קובץ ידני
יצירת קובץ ידני
יצירת קובץ ידני
WhatsApp me
Call Now Buttonהתקשרו עכשיו