AI roboti u robots.txt, zaštitnom zidu i Cloudflare-u: kako da ih greškom ne blokirate

Mnogi sajtovi blokiraju ChatGPT, Perplexity ili Claude, a da vlasnik to ne zna – u robots.txt, u zaštitnom zidu hostinga ili preko Cloudflare-a. Pokazaću koji AI roboti postoje, koje pustiti, kako to podesiti i kako provjeriti.

Možete imati najbolji sadržaj, strukturirane podatke i recenzije. Ali ako AI robot ne učita vaš sajt, ne može da vas preporuči. A blokiranje se često dešava tiho – bez ikakvog vašeg podešavanja. Upravo to sam rješavao na sopstvenom sajtu, gdje je zaštita hostinga odbijala „nepoznate“ robote.

Dvije vrste AI robota

Svaka velika AI kompanija danas ima nekoliko robota sa različitom namjenom:

• Roboti za pretragu i odgovore učitavaju stranu kada korisnik pita za aktuelne informacije. Od njih dolaze preporuke i posjete. Tu spadaju OAI-SearchBot i ChatGPT-User (OpenAI), PerplexityBot i Perplexity-User, Claude-SearchBot i Claude-User (Anthropic) i Bingbot, iz kog crpe i Copilot i ChatGPT.
• Roboti za treniranje modela prikupljaju tekstove za učenje budućih verzija AI: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Applebot-Extended. Google-Extended nije poseban robot, već oznaka kojom kažete da li Google smije da koristi vaš sadržaj za Gemini.

Maloj firmi koja želi da bude preporučena savjetujem da pusti sve. Ako ne želite da se modeli treniraju na vašem sadržaju, blokirajte samo robote za treniranje – nikada one za pretragu.

1. robots.txt

Fajl ćete naći na adresi vasafirma.rs/robots.txt. Ovako izgleda podešavanje koje izričito pušta AI robote:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /

User-agent: *
Disallow: /admin/

Sitemap: https://vasafirma.rs/sitemap.xml

Na šta da pazite:

• Red Disallow: / ispod User-agent: * zabranjuje cio sajt svim robotima koji nemaju sopstvenu sekciju. Često ostane uključen poslije izrade sajta.
• WordPress u Podešavanjima → Čitanje ima opciju „Obeshrabri pretraživače da indeksiraju ovaj sajt“. Mora biti isključena.
• Neki SEO dodaci dodaju blokiranje AI robota kao „zaštitu sadržaja“. Provjerite njihova podešavanja.

2. Zaštitni zid i zaštita hostinga

robots.txt je samo molba – robot ga pročita i odluči. Zaštitni zid hostinga (WAF) zaustavlja robota prije toga i robots.txt tada nema ulogu. Tipični znaci:

• AI roboti dobijaju grešku 403 ili stranu sa provjerom „Nisam robot“.
• Bing Webmaster Tools prijavljuje greške pri preuzimanju.
• U logovima servera vidite zahtjeve od GPTBot-a ili PerplexityBot-a sa statusom 403 ili 429.

Rješenje: u administraciji hostinga pronađite zaštitu od robota (bot protection, antibot, WAF) i dozvolite provjerene robote pretraživača i AI. Ako to ne može u administraciji, pišite podršci hostinga i pošaljite im spisak robota iz ovog članka.

3. Cloudflare

Ako sajt radi preko Cloudflare-a, posvetite mu posebnu pažnju. Od jula 2025. Cloudflare kod novih domena podrazumijevano blokira AI robote i nudi i „Bot Fight Mode“, koji umije da zaustavi i korisne robote.

• U podešavanjima Security → Bots provjerite opciju blokiranja AI robota („Block AI bots“) i izaberite da li blokirate samo robote za treniranje ili nikoga.
• Pregledajte AI Crawl Control (ranije AI Audit): vidjećete koji AI roboti posjećuju sajt i svakog možete posebno da pustite ili blokirate.
• Ako imate uključen Bot Fight Mode, provjerite da li prolaze provjereni roboti (Verified bots).

Kako to provjeriti

• Besplatan test sajta: test sajta sa oblašću Vidljivost u AI provjeriće robots.txt umjesto vas i pokazati koje AI robote blokirate.
• Logovi servera: u administraciji hostinga pogledajte pristupne logove i potražite GPTBot, OAI-SearchBot, PerplexityBot. Status 200 je u redu, 403 znači blokadu.
• Perplexity: pitajte za sadržaj konkretne strane vašeg sajta. Ako odgovori da ne može da je učita, nešto je blokira.

Kada su vrata za AI otvorena, ima smisla nastaviti sljedećim koracima: llms.txt, Bing Webmaster Tools i mjerenje posjeta iz AI u GA4.

Ne želite sami da prekopavate podešavanja hostinga i Cloudflare-a? Pišite mi preko besplatnog audita – provjeriću da li vas AI vidi i podesiću to.