" " google.com, pub-2443036330918608, DIRECT, f08c47fec0942fa0 " "
דיגיטל זון
קובץ רובוט TXT למה הוא חשוב לקידום אתרים

קובץ רובוט TXT למה הוא חשוב לקידום אתרים

קובץ robots.txt הוא קובץ טקסט שמוצב בשרת האינטרנט של אתר ומשמש לתקינות מנועי החיפוש וכלים אחרים כיצירת הנחיות לסריקה של האתר.

קובץ זה מאפשר לבעלי האתר להודיע למנועי החיפוש על הדפים באתר שברצונם להשתיק ממנו את הסריקה או להגביל גישה אליהם.

הקובץ נקרא robots.txt מכיוון שהוא משתמש בפרוטוקול המסמן “robots exclusion protocol”. פרוטוקול זה מגדיר כיצד מנועי החיפוש צריכים לסרוק ולאינדקס את התוכן שבאתר.

בקובץ רובוט TXT ניתן להגדיר הנחיות כגון:

  1. Disallow: הוראה זו מציינת למנועי החיפוש שלא לסרוק דף מסוים באתר. לדוגמה, Disallow: /private/ תמנע ממנועי החיפוש לסרוק כל דף שנמצא בתת תיקייה בשם “private”.
  2. Allow: הוראה זו מציינת שלמנועי החיפוש יש רשות לסרוק את הדפים במסלול זה. לדוגמה, Allow: /public/ תאפשר למנועי החיפוש לסרוק את כל הדפים בתת תיקייה בשם “public”.
  3. User-agent: זהו האישון של מנוע החיפוש או הרובוט. לדוגמה, User-agent: Googlebot מציין את ההנחיות למנוע החיפוש של Google.

קובץ robots.txt עשוי להיות חשוב לשימוש כדי להורות למנועי החיפוש לאינדקס או לא לאינדקס חלקים מהאתר, להפנות אותם לכתובת URL ספציפית, ולהפנות אותם מתוכן שאינו מעוניין להופיע בתוצאות החיפוש.

גלילה לראש העמוד