AI roboti u robots.txt, zaštitnom zidu i Cloudflare-u: kako da ih greškom ne blokirate

Mnogi sajtovi blokiraju ChatGPT, Perplexity ili Claude, a da vlasnik to ne zna – u robots.txt, u zaštitnom zidu hostinga ili preko Cloudflare-a. Pokazaću koji AI roboti postoje, koje pustiti, kako to podesiti i kako proveriti.

Možete imati najbolji sadržaj, strukturirane podatke i recenzije. Ali ako AI robot ne učita vaš sajt, ne može da vas preporuči. A blokiranje se često dešava tiho – bez ikakvog vašeg podešavanja. Upravo to sam rešavao na sopstvenom sajtu, gde je zaštita hostinga odbijala „nepoznate“ robote.

Dve vrste AI robota

Svaka velika AI kompanija danas ima nekoliko robota sa različitom namenom:

• Roboti za pretragu i odgovore učitavaju stranu kada korisnik pita za aktuelne informacije. Od njih dolaze preporuke i posete. Tu spadaju OAI-SearchBot i ChatGPT-User (OpenAI), PerplexityBot i Perplexity-User, Claude-SearchBot i Claude-User (Anthropic) i Bingbot, iz kog crpe i Copilot i ChatGPT.
• Roboti za treniranje modela prikupljaju tekstove za učenje budućih verzija AI: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Applebot-Extended. Google-Extended nije poseban robot, već oznaka kojom kažete da li Google sme da koristi vaš sadržaj za Gemini.

Maloj firmi koja želi da bude preporučena savetujem da pusti sve. Ako ne želite da se modeli treniraju na vašem sadržaju, blokirajte samo robote za treniranje – nikada one za pretragu.

1. robots.txt

Fajl ćete naći na adresi vasafirma.rs/robots.txt. Ovako izgleda podešavanje koje izričito pušta AI robote:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /

User-agent: *
Disallow: /admin/

Sitemap: https://vasafirma.rs/sitemap.xml

Na šta da pazite:

• Red Disallow: / ispod User-agent: * zabranjuje ceo sajt svim robotima koji nemaju sopstvenu sekciju. Često ostane uključen posle izrade sajta.
• WordPress u Podešavanjima → Čitanje ima opciju „Obeshrabri pretraživače da indeksiraju ovaj sajt“. Mora biti isključena.
• Neki SEO dodaci dodaju blokiranje AI robota kao „zaštitu sadržaja“. Proverite njihova podešavanja.

2. Zaštitni zid i zaštita hostinga

robots.txt je samo molba – robot ga pročita i odluči. Zaštitni zid hostinga (WAF) zaustavlja robota pre toga i robots.txt tada nema ulogu. Tipični znaci:

• AI roboti dobijaju grešku 403 ili stranu sa proverom „Nisam robot“.
• Bing Webmaster Tools prijavljuje greške pri preuzimanju.
• U logovima servera vidite zahteve od GPTBot-a ili PerplexityBot-a sa statusom 403 ili 429.

Rešenje: u administraciji hostinga pronađite zaštitu od robota (bot protection, antibot, WAF) i dozvolite proverene robote pretraživača i AI. Ako to ne može u administraciji, pišite podršci hostinga i pošaljite im spisak robota iz ovog članka.

3. Cloudflare

Ako sajt radi preko Cloudflare-a, posvetite mu posebnu pažnju. Od jula 2025. Cloudflare kod novih domena podrazumevano blokira AI robote i nudi i „Bot Fight Mode“, koji ume da zaustavi i korisne robote.

• U podešavanjima Security → Bots proverite opciju blokiranja AI robota („Block AI bots“) i izaberite da li blokirate samo robote za treniranje ili nikoga.
• Pregledajte AI Crawl Control (ranije AI Audit): videćete koji AI roboti posećuju sajt i svakog možete posebno da pustite ili blokirate.
• Ako imate uključen Bot Fight Mode, proverite da li prolaze provereni roboti (Verified bots).

Kako to proveriti

• Besplatan test sajta: test sajta sa oblašću Vidljivost u AI proveriće robots.txt umesto vas i pokazati koje AI robote blokirate.
• Logovi servera: u administraciji hostinga pogledajte pristupne logove i potražite GPTBot, OAI-SearchBot, PerplexityBot. Status 200 je u redu, 403 znači blokadu.
• Perplexity: pitajte za sadržaj konkretne strane vašeg sajta. Ako odgovori da ne može da je učita, nešto je blokira.

Kada su vrata za AI otvorena, ima smisla nastaviti sledećim koracima: llms.txt, Bing Webmaster Tools i merenje poseta iz AI u GA4.

Ne želite sami da prekopavate podešavanja hostinga i Cloudflare-a? Pišite mi preko besplatnog audita – proveriću da li vas AI vidi i podesiću to.