" " google.com, pub-2443036330918608, DIRECT, f08c47fec0942fa0 " "
דיגיטל זון
קובץ רובוט TXT למה הוא חשוב לקידום אתרים

קובץ רובוט TXT למה הוא חשוב לקידום אתרים

קובץ robots.txt הוא קובץ טקסט שמוצב בשרת האינטרנט של אתר ומשמש לתקינות מנועי החיפוש וכלים אחרים כיצירת הנחיות לסריקה של האתר.

קובץ זה מאפשר לבעלי האתר להודיע למנועי החיפוש על הדפים באתר שברצונם להשתיק ממנו את הסריקה או להגביל גישה אליהם.

למה נקרא בשם קובץ רובוט TXT

הקובץ נקרא robots.txt מכיוון שהוא משתמש בפרוטוקול המסמן “robots exclusion protocol”. פרוטוקול זה מגדיר כיצד מנועי החיפוש צריכים לסרוק ולאינדקס את התוכן שבאתר.

קובץ רובוט TXT
קובץ רובוט TXT

בקובץ רובוט TXT ניתן להגדיר הנחיות כגון:

  1. Disallow: הוראה זו מציינת למנועי החיפוש שלא לסרוק דף מסוים באתר. לדוגמה, Disallow: /private/ תמנע ממנועי החיפוש לסרוק כל דף שנמצא בתת תיקייה בשם “private”.
  2. Allow: הוראה זו מציינת שלמנועי החיפוש יש רשות לסרוק את הדפים במסלול זה. לדוגמה, Allow: /public/ תאפשר למנועי החיפוש לסרוק את כל הדפים בתת תיקייה בשם “public”.
  3. User-agent: זהו האישון של מנוע החיפוש או הרובוט. לדוגמה, User-agent: Googlebot מציין את ההנחיות למנוע החיפוש של Google.

לסיכום :  קובץ robots.txt

קובץ רובוט TXT  עשוי להיות חשוב לשימוש כדי להורות למנועי החיפוש לאינדקס או לא לאינדקס חלקים מהאתר, להפנות אותם לכתובת URL ספציפית, ולהפנות אותם מתוכן שאינו מעוניין להופיע בתוצאות החיפוש.

View Synonyms and Definitions
גלילה לראש העמוד