קובץ רובוט TXT למה הוא חשוב לקידום אתרים

קובץ זה מאפשר לבעלי האתר להודיע למנועי החיפוש על הדפים באתר שברצונם להשתיק ממנו את הסריקה או להגביל גישה אליהם.

למה נקרא בשם קובץ רובוט TXT

הקובץ נקרא robots.txt מכיוון שהוא משתמש בפרוטוקול המסמן “robots exclusion protocol”. פרוטוקול זה מגדיר כיצד מנועי החיפוש צריכים לסרוק ולאינדקס את התוכן שבאתר.

בקובץ רובוט TXT ניתן להגדיר הנחיות כגון:

1. Disallow: הוראה זו מציינת למנועי החיפוש שלא לסרוק דף מסוים באתר. לדוגמה, Disallow: /private/ תמנע ממנועי החיפוש לסרוק כל דף שנמצא בתת תיקייה בשם “private”.
2. Allow: הוראה זו מציינת שלמנועי החיפוש יש רשות לסרוק את הדפים במסלול זה. לדוגמה, Allow: /public/ תאפשר למנועי החיפוש לסרוק את כל הדפים בתת תיקייה בשם “public”.
3. User-agent: זהו האישון של מנוע החיפוש או הרובוט. לדוגמה, User-agent: Googlebot מציין את ההנחיות למנוע החיפוש של Google.

לסיכום :  קובץ robots.txt

קובץ רובוט TXT  עשוי להיות חשוב לשימוש כדי להורות למנועי החיפוש לאינדקס או לא לאינדקס חלקים מהאתר, להפנות אותם לכתובת URL ספציפית, ולהפנות אותם מתוכן שאינו מעוניין להופיע בתוצאות החיפוש.