הקובץ robots.txt מכיל הנחיות למנועי חיפוש לגבי האופן בו עליהם לסרוק את האתר שלכם. הקובץ מנחה את הבוטים ומציין למנועי חיפוש
רובוטס טקסט

הקובץ robots.txt מכיל הנחיות למנועי חיפוש לגבי האופן בו עליהם לסרוק את האתר שלכם.
הקובץ מנחה את הבוטים ומציין למנועי חיפוש מסויימים (או לכולם) אילו כתובות, קבצים, או חלקים מסויימים באתר שלכם לסרוק ואלו לא.

אבל בואו קודם נבין מהו קובץ רובוט טקסט מושלם. כנסו למאמר בלינק

ישנן שתי דרכים ליצור קובץ robots.txt בוורדפרס. אציג את שתיהן ואתם תבחרו את השיטה המתאימה לכם ביותר.

שיטה 1: עריכת קובץ robots.txt באמצעות All in One SEO

All in One SEO הידוע גם בשם AIOSEO הוא התוסף הטוב ביותר לקידום אתרים בוורדפרס בשוק המשמש למעלה מ-2 מיליון אתרים.
התוסף קל לשימוש ומגיע עם עורך קבצי robots.txt.

AIOSEO מאפשר לכם להגדיר עבור האתר שלכם קובץ robots.txt, שיעקוף את קובץ ברירת המחדל ש WordPress יוצר.
התוסף  AIOSEO נותן לכם  שליטה רבה יותר על ההוראות שאתם נותנים לסורקי אינטרנט לגבי האתר שלכם.

הערה: גרסה חינמית של AIOSEO זמינה להורדה ומספקת תכונה זו.
אם התוסף טרם מותקן, התקינו אותו בלוח בקרה של וורדפרס, לפי הסרטון המצורף

לאחר שהתוסף מותקן ומופעל, אתם יכולים להשתמש בו כדי ליצור ולערוך את הקובץ שלכם, ישירות מלוח בקרה של וורדפרס.
עברו אל All in One SEO » כלים כדי לערוך את הקובץ.

רובוטס טקסט

עוברים ללשונית robots.txt editor

robots.txt

בלחיצה על הכפתור "open robots.txt" אפשר לראות איך נראה הקובץ .
כך נראה קובץ שלי

robots.txt

אסביר את המושגים שבקובץ:

  • User-agent – מציין לאילו מנועי חיפוש ההנחיה המופיעה רלוונטית.
  • כוכבית (*) – מציין כי ההנחיה רלוונטית עבור כל מנועי החיפוש ללא יוצא מן הכלל.
  • Disallow – הנחיה זו המציינת איזה תוכן לא יהיה נגיש עבור ה user-agent שציינתם.
  • /wp-admin/ – זהו הנתיב (path) שלא יהיה נגיש לאותו user-agent שציינתם.
  • Allow – הנחיה זו המציינת איזה תוכן יהיה נגיש עבור ה user-agent שציינתם.
  • /wp-admin/ – זהו הנתיב (path) שיהיה נגיש לאותו user-agent שציינתם.

למשל, יכולנו לחסום לרובוט גישה לספריה מסויימת:
Disallow: / sample-directory / לא יאפשר לרובוט לבקר בספרייה הרשומה.

או עמוד מסויים:
Disallow: /private_file.html – יחסום דף ספציפי

או תמונות מסויימות:
Disallow: /images/example.jpg – יחסום תמונות ספציפיות

או גישה לכל סוגי קובץ מסויימים:
Disallow: /*.gif$ – יחסום את הגישה של סוג הקובץ .gif, באופן דומה ניתן להוסיף כאן סוגי סיומות אחרים.

אם רוצים לערוך קובץ ברירת מחדל, יש לסמן  Enable Custom Robots.txt

רובוטס טקסט

ולהוסף תנאים
*למרות שקובץ robots.txt נועד להנחות מנועי חיפוש לאילו עמודים אין עליהם לגשת, הוא משמש גם בכדי לציין לאלו היכן יושב קובץ ה XML Sitemap של האתר.

robots.txt

שיטה 2: לערוך קובץ באופן ידני באמצעות FTP

כל שעליכם לעשות הוא להתחבר לשרת שלכם ב-WordPress באמצעות FTP.
לאחר שתתחברו, תוכלו לראות את קובץ robots.txt בתיקיית השורש של האתר שלכם. (תחת public.html)
אם הקובץ לא נמצא, כפי שרואים בתמונה, ניצור אותו ידני.

robots.txt
robots.txt
robots.txt
robots.txt
robots.txt

שתפו מאמר:

שתפו מאמר:

חיפוש

נהיה בקשר

כתבות נוספות באותו נושא:

מאגר תמונות ללא זכויות יוצרים

מאגר תמונות ללא זכויות יוצרים

בעידן הדיגיטלי של היום, תמונות הן מרכיב מכריע בכל צורה של תקשורת, בין אם זה מקוון או לא מקוון. עם זאת, לא לכולם יש גישה לתמונות באיכות גבוהה

שם דומיין

איך לבחור שם דומיין

לבחור שם הדומיין המתאים לאתר שלכם היא החלטה קריטית שיכולה להשפיע על הנוכחות והמיתוג שלכם ברשת. הרושם הראשוני של המותג שלכם.

Tag Manager

הגדרה והתקנה של Tag Manager

מה זה Tag Manager? גוגל תג מנג'ר (Tag Manager) היא מערכת לניהול תגים של חברת גוגל, המיועדת בעיקר לבעלי אתרים, אפליקציות וחנויות אינטרנטיות, שבאמצעות ניתן להטמיע

בניית אתרים לעסקים קטנים

האם גם עסק קטן צריך אתר אינטרנט?

כל התחלה של תהליך בניית אתרים לעסקים קטנים היא תמיד אירוע משמח.
זה הרגע בו אני יודעת שגם העסק הקטן, או יותר נכון בעל/ת העסק, הבינו ש"הגודל לא קובע".

all-in-one

All-in-One WP Migration

All-In-One WP Migration הנו תוסף להעברת  אתר האינטרנטי שלכם מהתקנה מקומית לשרת חי, או משרת אחד למשנהו. בעיקרו של דבר, ללא קשר לאן אתם מעבירים אתר

פיקסל פייסבוק

יצירה והתקנה של פיקסל פייסבוק

מה זה פיקסל בפייסבוק ואיך יוצרים אותו?
במאמר זה אדון באופן היצירה וההתקנה של פיקסל פייסבוק באתר שלכם. אם אתם משתמשים בפרסום ממומן בפייסבוק – או שאתם מתכוונים

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

בואו נבחר יחד אתר שהכי מתאים לכם

דילוג לתוכן