tigtools

מחולל robots.txt

בחרו מה הסורקים רשאים לשלוף, הוסיפו כללים לבוטים ספציפיים והורידו קובץ robots.txt תקין לשורש האתר שלכם.

פועל בדפדפן שלך ללא הרשמה

הגדרות מוכנות מראש
כל הסורקים (User-agent: *)
מדיניות ברירת מחדל

כל נתיב חייב להתחיל ב-/ או ב-*. השתמשו ב-$ כדי להתאים לסוף כתובת URL, למשל /*.pdf$.

Google מתעלם מ-Crawl-delay; חלק מהסורקים האחרים מכבדים אותו.

כללים לסורקים ספציפיים

מוסיף קבוצה שחוסמת את GPTBot, CCBot, Google-Extended, ClaudeBot ו-PerplexityBot. הציות ל-robots.txt הוא מרצון.

robots.txt הוא ציבורי: כל אחד יכול לקרוא אותו, והוא עלול לחשוף את הנתיבים שאתם מציינים. הוא רק מבקש מזחלנים מתחשבים לא לשלוף דפים; הוא לא מגן על שום דבר. השתמשו באימות לתוכן פרטי, וב-noindex לדפים שצריכים להישאר מחוץ לתוצאות החיפוש.

איך להשתמש בו

  1. בחרו את מדיניות ברירת המחדל לכל הסורקים והוסיפו נתיבים שאסור להם לשלוף, כגון /cart/ או /search.
  2. הוסיפו קבוצות לסורקים ספציפיים אם הם זקוקים לכללים שונים, או השתמשו בהגדרה מוכנה מראש.
  3. הוסיפו את ה-URL המלא של מפת האתר שלכם ב-XML.
  4. הורידו את robots.txt והעלו אותו לשורש האתר שלכם, כך שהוא יוגש בכתובת https://your-domain/robots.txt.

איך זה עובד

robots.txt הוא קובץ טקסט פשוט בשורש המארח שאומר לסורקים אילו כתובות URL הם רשאים לאחזר. הקובץ תואם לתקן RFC 9309. הקובץ מכיל קבוצות: שורת User-agent אחת או יותר ולאחריה כללי Allow ו-Disallow. סורק משתמש בקבוצה שההתאמה לשמו היא הספציפית ביותר, ואחרת נופל חזרה לקבוצת *; הוא אינו משלב את הקבוצה שלו עם קבוצת *. בתוך קבוצה, הכלל הספציפי ביותר (הארוך ביותר) שמתאים מנצח, ובמקרה של תיקו Allow מנצח.

הנתיבים מותאמים מתחילת נתיב ה-URL והם תלויי רישיות. * מתאים לכל רצף תווים ו-$ מסמן את סוף ה-URL. שורת “Disallow:” ריקה פירושה ששום דבר אינו חסום. שורות בכלי זה שאינן מתחילות ב-/ או ב-* זוכות להתעלמות ולסימון, כי גם סורקים היו מתעלמים מהן. שורות Sitemap חייבות להיות כתובות URL מוחלטות והן חלות על הקובץ כולו, לא על קבוצה אחת.

מגבלות חשובות: robots.txt שולט בסריקה, לא באינדוקס. כתובת URL חסומה עדיין יכולה להופיע בתוצאות החיפוש אם דפים אחרים מקשרים אליה, רק ללא תיאור. כדי למנוע מדף להופיע בתוצאות החיפוש, אפשרו את הסריקה והשתמשו במקום זאת בתג meta מסוג robots עם noindex. כל מארח ופרוטוקול זקוקים לקובץ משלהם, כך ש-blog.example.com זקוק ל-robots.txt נפרד.

דוגמאות

חנות שמסתירה עגלה וחיפוש פנימי

אפשרו הכול, ואז חסמו את /cart/, /checkout/ ו-/search. הוסיפו Sitemap: https://example.com/sitemap.xml. דפי מוצרים וקטגוריות נשארים ניתנים לסריקה.

אתר staging

בחרו באפשרות “Disallow everything”. סורקים תקינים ידלגו אז על האתר, אך הגנו על סביבת staging גם באמצעות סיסמה, כי robots.txt הוא בקשה בלבד.

סירוב לסורקי אימון AI

ההגדרה המוכנה לסורקי AI מוסיפה קבוצה עבור GPTBot, CCBot, Google-Extended, ClaudeBot ו-PerplexityBot עם Disallow: /. סורקי חיפוש כמו Googlebot ממשיכים לפעול לפי קבוצת *.

שאלות נפוצות

היכן שמים את robots.txt?

בתיקיית השורש של המארח, כך שהוא נטען בכתובת https://example.com/robots.txt. מתעלמים מקובץ robots.txt שנמצא בתיקיית משנה.

האם Disallow יסיר דף מתוצאות החיפוש?

לא באופן אמין. Disallow עוצר סריקה, אבל ה-URL עדיין יכול להופיע אם מקשרים אליו ממקום אחר. השתמשו בתג meta של noindex או בכותרת HTTP, והשאירו את הדף ניתן לסריקה כדי שהסורק יוכל לראות אותו.

האם כל בוט מציית ל-robots.txt?

לא. ציות ל-robots.txt הוא וולונטרי. מנועי חיפוש גדולים וסורקי AI רבים מצהירים שהם מכבדים אותו, אבל סקרייפרים ובוטים זדוניים עלולים להתעלם ממנו.

האם Google משתמשת ב-Crawl-delay?

לא, Google מתעלמת מ-Crawl-delay. סורקים אחרים, כולל אלה של Bing, קוראים אותו. Google מתאימה את קצב הסריקה אוטומטית לפי איך שהשרת שלכם מגיב.

האם כדאי לחסום קבצי CSS ו-JavaScript?

לא. מנועי חיפוש מעבדים דפים וזקוקים לקבצים האלה כדי להבין את הפריסה והתוכן. חסימתם עלולה לגרום לדפים להיראות שבורים לסורקים.

פרטיות

הקובץ נוצר בדפדפן שלכם. הכללים וכתובות ה-URL שלכם לא נשלחים לשום מקום ולא נשמרים.