בקצרה: קובץ robots.txt הוא קובץ טקסט שנמצא בתיקייה הראשית של האתר ונותן לרובוטים של מנועי החיפוש הנחיות אילו אזורים מותר לסרוק ואילו לא. בעזרת הוראות כמו User-agent, Disallow ו-Allow אפשר למנוע סריקה של אזורים לא רלוונטיים ולכוון את מנועי החיפוש לתוכן החשוב.
קובץ זה מאפשר לבעלי האתר להודיע למנועי החיפוש על הדפים באתר שברצונם להשתיק ממנו את הסריקה או להגביל גישה אליהם.
למה נקרא בשם קובץ רובוט TXT
הקובץ נקרא robots.txt מכיוון שהוא משתמש בפרוטוקול המסמן "robots exclusion protocol". פרוטוקול זה מגדיר כיצד מנועי החיפוש צריכים לסרוק ולאינדקס את התוכן שבאתר.
שאלות נפוצות על קובץ robots.txt
איפה נמצא קובץ robots.txt?
הקובץ ממוקם בתיקייה הראשית של הדומיין, כך שאפשר לצפות בו בכתובת כמו example.com/robots.txt. מנועי החיפוש מחפשים אותו במיקום הזה בלבד.
האם Disallow מונע מדף להופיע בגוגל?
לא בהכרח. Disallow מונע סריקה, אבל דף שיש אליו קישורים עשוי עדיין להופיע בתוצאות. כדי למנוע אינדוקס משתמשים בתגית noindex, ואז אין לחסום את הדף ב-robots.txt כדי שגוגל יוכל לראות את התגית.
האם אפשר להוסיף לקובץ את כתובת מפת האתר?
כן. אפשר להוסיף שורת Sitemap עם הכתובת המלאה של קובץ ה-XML, וכך לעזור למנועי החיפוש למצוא את מפת האתר.
מה קורה אם יש טעות בקובץ?
טעות כמו Disallow: / תחת User-agent: * עלולה לחסום את סריקת האתר כולו. לכן כדאי לבדוק כל שינוי, למשל בעזרת דוח robots.txt ב-Google Search Console.
רוצים שהאתר שלכם יופיע בגוגל ובמנועי ה-AI?
כתבו לי בוואטסאפ ואחזור אליכם עם בדיקת אתר ראשונית והמלצות מותאמות לעסק.