AI роботите в robots.txt, защитните стени и Cloudflare: как да не ги блокирате по погрешка

Много сайтове блокират ChatGPT, Perplexity или Claude, без собствениците им да знаят – в robots.txt, в защитната стена на хостинга или чрез Cloudflare. Ще ви покажа какви AI роботи има, кои да разрешите, как да го настроите и как да го проверите.

Може да имате най-доброто съдържание, структурирани данни и отзиви. Но ако AI робот не може да зареди сайта ви, не може и да ви препоръча. А блокирането често става тихо – без вие да сте настройвали каквото и да е. Точно с това се сблъсках на собствения си сайт, където защитата на хостинга отхвърляше „непознатите“ роботи.

Два вида AI роботи

Всяка голяма AI компания днес има няколко робота с различна цел:

• Роботите за търсене и отговори зареждат страница, когато потребител поиска актуална информация. От тях идват препоръките и посещенията. Към тях спадат OAI-SearchBot и ChatGPT-User (OpenAI), PerplexityBot и Perplexity-User, Claude-SearchBot и Claude-User (Anthropic) и Bingbot, от който черпят и Copilot, и ChatGPT.
• Роботите за обучение на модели събират текстове за обучението на бъдещите версии на AI: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Applebot-Extended. Google-Extended не е отделен робот, а токен, който казва на Google дали може да използва съдържанието ви за Gemini.

За малка фирма, която иска да бъде препоръчвана, съветвам да разрешите всички. Ако не искате върху съдържанието ви да се обучават модели, блокирайте само роботите за обучение – никога тези за търсене.

1. robots.txt

Файлът се намира на vashatafirma.bg/robots.txt. Ето настройка, която изрично разрешава AI роботите:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /

User-agent: *
Disallow: /admin/

Sitemap: https://vashatafirma.bg/sitemap.xml

За какво да внимавате:

• Редът Disallow: / под User-agent: * блокира целия сайт за всички роботи без собствен раздел. Често остава включен след изработката на сайта.
• WordPress има опцията „Обезкуражи търсачките да индексират този сайт“ в Настройки → Четене. Трябва да е изключена.
• Някои SEO плъгини добавят блокиране на AI роботите като „защита на съдържанието“. Проверете настройките им.

2. Защитна стена и защита на хостинга

robots.txt е само молба – роботът го прочита и решава. Защитната стена на хостинга (WAF) спира робота още преди това и тогава robots.txt няма значение. Типични признаци:

• AI роботите получават грешка 403 или страница с проверка „Не съм робот“.
• Bing Webmaster Tools отчита грешки при обхождането.
• В логовете на сървъра има заявки от GPTBot или PerplexityBot със статус 403 или 429.

Решение: намерете защитата срещу роботи (bot protection, anti-bot, WAF) в администрацията на хостинга и разрешете проверените роботи на търсачките и AI. Ако там не може, пишете на поддръжката на хостинга и им изпратете списъка с роботи от тази статия.

3. Cloudflare

Ако сайтът ви работи през Cloudflare, внимавайте особено. От юли 2025 г. Cloudflare по подразбиране блокира AI роботите при новите домейни и освен това предлага „Bot Fight Mode“, който може да спре и полезните.

• В Security → Bots проверете опцията „Block AI bots“ и изберете дали да блокирате само роботите за обучение, или никого.
• Прегледайте AI Crawl Control (по-рано AI Audit): ще видите кои AI роботи посещават сайта ви и можете да разрешите или блокирате всеки поотделно.
• Ако Bot Fight Mode е включен, уверете се, че проверените роботи минават.

Как да проверите

• Безплатен тест на сайта: тестът на сайта с областта видимост в AI проверява robots.txt вместо вас и показва кои AI роботи блокирате.
• Логове на сървъра: вижте логовете за достъп в администрацията на хостинга и потърсете GPTBot, OAI-SearchBot, PerplexityBot. Статус 200 е наред, 403 означава блокиране.
• Perplexity: попитайте за съдържанието на конкретна страница от сайта ви. Ако отговори, че не може да зареди страницата, нещо я блокира.

Щом вратата за AI е отворена, има смисъл да продължите със следващите стъпки: llms.txt, Bing Webmaster Tools и измерване на посещенията от AI в GA4.

Не искате сами да се ровите в настройките на хостинга и Cloudflare? Пишете ми чрез безплатния одит – ще проверя дали AI ви вижда и ще го настроя.