סורקי AI ושליטה בבוטים 2026: GPTBot, Google-Extended, Cloudflare ו-llms.txt – מה לאפשר ומה לחסום

התשובה הקצרה: לא כל בוט של AI הוא אותו בוט. יש סורקים שאוספים תוכן לאימון מודלים, יש כאלה שבונים אינדקס לחיפוש ולציטוטים, ויש כאלה שנכנסים לאתר בזמן אמת בשם משתמש. ההחלטה מה לחסום צריכה להיות לפי סוג הבוט, לא לפי "AI כן או לא". לרוב העסקים שרוצים להיות מומלצים ב-ChatGPT, ב-Perplexity ובגוגל, ההמלצה היא לאפשר את בוטי החיפוש והמשתמש, ולשקול את בוטי האימון. ב-2026 נוספו כלים חדשים: Cloudflare עוברת לתשלום לפי שימוש בתשובה וחוסמת כברירת מחדל באתרים חדשים, וגוגל בודקת מתג להוצאת אתר מ-AI Overviews. llms.txt, לעומת זאת, עדיין לא הוכיח את עצמו.

אילו בוטים של AI נכנסים לאתר שלכם?

כמעט כל חברת AI גדולה מפעילה כמה בוטים שונים, ולכל אחד תפקיד אחר. זו הנקודה החשובה ביותר במאמר: מי שחוסם "את הבוט של OpenAI" צריך לדעת איזה מהם.

שימו לב לגוגל: אין "בוט AI" נפרד שאפשר לחסום כדי לצאת מסקירות ה-AI. אותו Googlebot שסורק לחיפוש הרגיל משמש גם לתשובות ה-AI. Google-Extended הוא רק טוקן ב-robots.txt שקובע אם התוכן ישמש לאימון ולשיפור Gemini. לכן, עד עכשיו, הדרך היחידה לצאת מסקירות ה-AI הייתה לצאת מגוגל לגמרי, או להשתמש בהגבלות קטעי טקסט (nosnippet). זה בדיוק מה שמתחיל להשתנות.

מה ההבדל בין חסימת בוט אימון לחסימת בוט חיפוש?

בוט אימון לוקח את התוכן כדי ללמד את המודל. בוט חיפוש לוקח את התוכן כדי לצטט אתכם בתשובה. ההבדל הזה קובע מה תאבדו אם תחסמו.

• חסמתם בוט אימון: התוכן שלכם לא ישמש לאימון גרסאות עתידיות. אתם עדיין יכולים להופיע בתשובות שמבוססות חיפוש בזמן אמת. המחיר: המודל "יכיר" אתכם פחות מהידע הפנימי שלו.
• חסמתם בוט חיפוש: האתר לא ייכנס לאינדקס של אותו מנוע, ולכן כמעט לא יצוטט בתשובות ולא יקבל ממנו הפניות. זה המחיר הכבד.
• חסמתם בוט משתמש: כשמשתמש מבקש מ-ChatGPT או מ-Perplexity לקרוא את העמוד שלכם או לבדוק משהו באתר, הבקשה תיכשל. לעסק שרוצה לקוחות, זה כמעט תמיד טעות.

ומה עם סוכנים שגולשים בשם משתמשים?

הקטגוריה השלישית היא החדשה והמהירה ביותר. כשמשתמש מבקש מסוכן AI "תבדוק באתר של הספק אם יש תור פנוי", הסוכן נכנס לאתר בזמן אמת, לעיתים עם דפדפן מלא. כאן חסימה פוגעת ישירות בלקוח שכבר החליט לפנות אליכם. הבעיה היא לזהות סוכן לגיטימי מבוט זדוני שמתחזה. לכן Cloudflare וחברות AI מקדמות מאז 2025 שיטות לחתימה קריפטוגרפית של בקשות (Web Bot Auth), שמאפשרות לאתר לוודא שהבקשה באמת מגיעה מהסוכן שהיא טוענת שהיא. בפועל, לעסק זה אומר: עדיף לעבוד עם ספק CDN או אבטחה שמבחין בין "סוכן מאומת" ל"בוט לא מזוהה", במקום לחסום הכול לפי שם.

מה המספרים אומרים: כמה סורקים וכמה מחזירים

הוויכוח על חסימה נובע מחוסר איזון: חברות AI סורקות הרבה ומחזירות מעט תנועה. לפי ניתוח של TechnologyChecker על נתוני Cloudflare Radar לרבעון השלישי של 2026, היחס בין עמודים שנסרקו להפניה שחזרה היה כ-1,083 ל-1 ב-Perplexity, 988 ל-1 ב-Anthropic, 309 ל-1 ב-OpenAI ו-4.9 ל-1 בגוגל. היחסים האלה משתנים מאוד בין תקופות, ולכן כדאי להתייחס אליהם כמגמה ולא כמספר קבוע. לפי Cloudflare, בתחילת יוני 2026 בוטים היו 57.4% מתעבורת ה-HTML ברשת שלה.

ומה עושים בעלי האתרים? לפי Cloudflare, ברבעון השלישי של 2026 אתרים ברשת שלה דחו 13.47% מבקשות בוטי ה-AI, לעומת 5.98% שנה קודם. אבל התמונה מורכבת יותר: לפי ניתוח TechnologyChecker של קובצי robots.txt, אתרים חוסמים יותר בוטי אימון ופחות בוטי חיפוש, ובמקביל מוסיפים יותר הרשאות מפורשות. יחס החסימה-להרשאה של GPTBot ירד מ-3.72 ל-1 בספטמבר 2025 ל-1.60 ל-1 בספטמבר 2026, ושל OAI-SearchBot ירד מתחת ל-1, כלומר יותר אתרים מאפשרים אותו מאשר חוסמים. המגמה ברורה: השוק לומד להבחין בין אימון לחיפוש.

מה Cloudflare שינתה ב-2026?

Cloudflare, שמשרתת חלק גדול מהאתרים בעולם, הפכה לשחקן מרכזי בוויכוח. אם האתר שלכם מאחורי Cloudflare, ההגדרות שלה משפיעות ישירות על מה שבוטי ה-AI רואים.

הנימוק של Cloudflare לחסימה בעמודים עם מודעות: מודעה היא סימן שבעל האתר רוצה שבן אדם יראה את העמוד. לגבי בוטים שמשלבים חיפוש ואימון, ההחלטה נקבעת לפי כלל ההתנהגות שלהם. השורה התחתונה לבעלי עסקים: אם פתחתם אתר חדש על Cloudflare, היכנסו להגדרות ה-AI Crawl Control ובדקו מה חסום. ייתכן שחסמתם סוכנים שגולשים בשם לקוחות.

מה גוגל שינתה: אפשר לצאת מ-AI Overviews?

בפעם הראשונה – כנראה כן. ב-3 ביוני 2026 הוציאה רשות התחרות והשווקים הבריטית (CMA) דרישת התנהגות ראשונה לעסקי החיפוש של גוגל, שמחייבת לתת למפרסמים שליטה אמיתית בשאלה אם התוכן שלהם ישמש לתשובות ה-AI בחיפוש. לפי הדיווחים, הדרישה כוללת גם ייחוס ברור עם קישורים, ואפשרות לסרב לשימוש בתוכן לכוונון מודלים. לגוגל ניתנו תשעה חודשים ליישום מלא.

באותו יום הודיעה גוגל על בדיקה של מתג ב-Search Console, שמוציא אתר מ-AI Overviews, מ-AI Mode ומסקירות ה-AI ב-Discover. לפי הדיווחים, המתג לא משמש כאות דירוג בחיפוש הרגיל, והוא נפתח קודם לחלק מבעלי האתרים בבריטניה, לפני השקה גלובלית. מגבלה חשובה: אי אפשר לצאת מסקירות ה-AI ולהישאר ב-AI Mode, או להפך.

האם כדאי להשתמש בו כשיגיע?

לרוב העסקים – לא. מי שיוצא מתשובות ה-AI לא מקבל מהן חשיפות ולא קליקים, וכפי שראינו במחקרים, מותגים שמצוטטים בסקירות מקבלים יותר קליקים ממי שלא מופיע בהן. המתג רלוונטי בעיקר לאתרי תוכן ותקשורת שהמודל העסקי שלהם נפגע מסיכומים, ולא לעסק שרוצה שלקוחות ימצאו אותו.

ויש גם דרך עדינה יותר, שקיימת כבר היום בכל המדינות: התגית data-nosnippet. היא מאפשרת לסמן חלקים ספציפיים בעמוד, למשל טבלת מחירים פנימית או קטע מתוך קורס בתשלום, כך שגוגל לא תציג אותם בקטעי תשובה ובסקירות AI, בלי להוציא את כל העמוד. זה כלי מדויק למי שרוצה להופיע, אבל לא לחשוף הכול.

מה עם llms.txt?

llms.txt הוא קובץ טקסט מוצע, בפורמט Markdown, שמסכם לבינה מלאכותית את התוכן החשוב באתר. הרעיון הגיוני, אבל נכון לאוקטובר 2026 אין ראיות שהוא משפיע.

• אימוץ עולה: לפי Originality.ai, מספר הקבצים שזוהו עלה מ-4,088 ביוני 2025 ל-36,120 במאי 2026.
• כמעט אף אחד לא קורא: לפי ניתוח של Ahrefs על לוגים מ-137 אלף דומיינים, כפי שדווח אצל Originality.ai, 97% מקבצי llms.txt לא קיבלו אף בקשה במאי 2026.
• אין קשר לציטוטים: לפי מחקר של SE Ranking על כ-300 אלף דומיינים, לא נמצא קשר מובהק בין קיום הקובץ לבין תדירות הציטוט ב-AI.
• גוגל: נציגי החיפוש של גוגל אמרו בעבר שהם לא משתמשים בקובץ.

ההמלצה שלנו: אם יש לכם מפתח זמין, להוסיף קובץ פשוט לא מזיק, ובחלק מהמקרים סוכני קוד וכלים טכניים כן קוראים אותו. אבל אל תצפו שהוא יכניס אתכם לתשובות. אם בכל זאת מוסיפים, כדאי שיכלול שורה אחת שמתארת מה העסק עושה ולמי, רשימה של העמודים החשובים (שירותים, מחירים, שאלות נפוצות, צור קשר) עם תיאור קצר לכל אחד, ופרטים קשיחים כמו אזור שירות ושעות. זה מסמך של עשר דקות עבודה, ולא פרויקט. מה שעושה את זה הוא תוכן ברור, נתונים מובנים ואתר שנגיש לסורקים.

מה לאפשר ומה לחסום: מסגרת החלטה

אין תשובה אחת לכולם. ההחלטה תלויה במודל העסקי שלכם.

דוגמה ל-robots.txt של עסק שרוצה להיות ממולץ

קובץ פשוט שמאפשר חיפוש וגישת משתמשים, וחוסם רק אזורים פרטיים:

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /my-account/

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Sitemap: https://example.co.il/sitemap.xml

ומי שמחליט לחסום אימון בלבד, מוסיף שורות כמו User-agent: GPTBot עם Disallow: /, וכן User-agent: Google-Extended עם Disallow: /. חשוב לזכור ש-robots.txt הוא בקשה, לא חומה: בוטים מכובדים מכבדים אותו, אחרים לא. להגנה אמיתית צריך כלי ברמת השרת או ה-CDN.

מה זה אומר לישראל?

כל הבוטים האלה פועלים גם על אתרים ישראליים, וכל ההגדרות האלה זמינות גם כאן. ההבדל הוא בשני דברים. ראשית, המתג החדש של גוגל ליציאה מסקירות ה-AI נבדק בינתיים בבריטניה, וגוגל הודיעה על השקה גלובלית בהמשך, בלי תאריך לישראל. שנית, שוק התוכן העברי קטן, ולכן כל אתר עברי איכותי שנחסם הוא פער משמעותי בידע של המודלים. עסק ישראלי שמאפשר גישה נמצא בתחרות קטנה יותר על הציטוט.

נקודה מעשית: אתרים ישראליים רבים בנויים על וורדפרס עם תוספי אבטחה, או מאחורי Cloudflare עם הגדרות ברירת מחדל. זה תרחיש נפוץ: עסק חוסם את בוטי ה-AI בלי לדעת, דרך תוסף "חסימת בוטים" או הגדרה אוטומטית, ואז תוהה למה ChatGPT לא מכיר אותו.

בדיקה של חמש דקות

אפשר לבדוק את המצב בלי מפתח. שלב ראשון: לפתוח את קובץ robots.txt באתר ולחפש את המילים GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot ו-Disallow. שלב שני: לשאול את ChatGPT ואת Perplexity שאלה ישירה על עמוד ספציפי באתר, למשל "מה כתוב בעמוד המחירים של [כתובת]". אם התשובה היא שאין גישה לעמוד, או שהמידע ישן מאוד, כנראה יש חסימה בדרך. שלב שלישי: אם האתר מאחורי Cloudflare, להיכנס ללוח הבקרה ולבדוק את דוח הבוטים. שלושת הצעדים האלה מספיקים כדי לגלות את רוב הבעיות.

מה לעשות עכשיו: 7 צעדים

1. לבדוק את robots.txt. לפתוח את yourdomain.co.il/robots.txt ולוודא שאין חסימה גורפת של בוטי חיפוש ומשתמש.
2. לבדוק את ה-CDN ואת תוספי האבטחה. ב-Cloudflare, בדף AI Crawl Control. בוורדפרס, בתוספי חומת אש. לחפש חסימות של בוטי AI.
3. להחליט על בוטי אימון לפי המודל העסקי, לפי הטבלה למעלה.
4. לבדוק בלוגים מי באמת נכנס. כמה בקשות מכל בוט, לאילו עמודים, והאם הם מקבלים שגיאות.
5. להגן על אזורים רגישים כמו התחברות, עגלה ואזור לקוחות, ברמת השרת ולא רק ב-robots.txt.
6. לוודא שהתוכן החשוב נגיש בלי JavaScript כבד. חלק מבוטי ה-AI לא מריצים JavaScript. יסודות SEO טכני.
7. למדוד את התוצאה. הפניות מ-chatgpt.com, perplexity.ai ומנועים נוספים ב-GA4, ובדיקה חודשית של אזכורים. איך מודדים GEO.

מה הסיכונים והמגבלות?

• חסימה שקטה. הסיכון הגדול ביותר לעסקים הוא לא שבוטים לוקחים יותר מדי, אלא שהם חסומים בלי שאיש יודע.
• robots.txt לא מחייב. בוטים שלא מכבדים אותו ימשיכו לסרוק. לכן הגנה על תוכן רגיש חייבת להיות טכנית.
• שמות בוטים משתנים. חברות מוסיפות ומשנות בוטים. מה שנכון היום צריך בדיקה כל כמה חודשים מול התיעוד הרשמי.
• עומס על השרת. חלק מהסורקים אגרסיביים. לפי Cloudflare, יותר ממחצית מהסריקה של בוטים לגיטימיים חוזרת לעמודים שלא השתנו. אם השרת סובל, עדיף להגביל קצב מאשר לחסום.
• התחזות. בוטים זדוניים מציגים לעיתים שם של בוט מוכר. חברות ה-AI מפרסמות טווחי IP רשמיים לבוטים שלהן, וכלי אבטחה טובים בודקים את ההתאמה.
• החלטה בלי נתונים. לחסום "כי שמעתי שצריך" זה כמו לסגור את דלת החנות כי יש יותר מדי מבקרים שלא קונים.

השורה התחתונה

השאלה "לחסום או לא לחסום את ה-AI" היא שאלה לא נכונה. השאלה הנכונה היא איזה בוט, לאיזו מטרה, ומה העסק מרוויח או מפסיד. לרוב העסקים, התשובה פשוטה: לפתוח את הדלת לבוטים שמביאים ציטוטים ולקוחות, לשקול את בוטי האימון, להגן על מה שבאמת פרטי, ולבדוק פעם ברבעון שאף הגדרה אוטומטית לא סגרה את הדלת בלי שידעתם. אחר כך, להשקיע במה שבאמת מכניס לתשובות: תוכן שה-AI רוצה לצטט.