AI roboty v robots.txt, firewalle a Cloudflare: ako ich omylom neblokovať

Mnohé weby blokujú ChatGPT, Perplexity či Claude bez toho, aby o tom majiteľ vedel – v robots.txt, vo firewalle hostingu alebo cez Cloudflare. Ukážem, ktoré AI roboty existujú, ktoré pustiť, ako to nastaviť a ako to overiť.

Môžete mať najlepší obsah, štruktúrované dáta aj recenzie. Ak však AI robot váš web nenačíta, nemôže vás odporučiť. A blokovanie sa často deje potichu – bez toho, aby ste niečo nastavovali. Presne toto som riešil aj na vlastnom webe, kde ochrana hostingu odmietala „neznámych“ robotov.

Dva druhy AI robotov

Každá veľká AI firma má dnes niekoľko robotov s rôznym účelom:

• Roboty na vyhľadávanie a odpovede načítajú stránku, keď sa používateľ pýta na aktuálne informácie. Z nich prichádzajú odporúčania aj návštevy. Patria sem OAI-SearchBot a ChatGPT-User (OpenAI), PerplexityBot a Perplexity-User, Claude-SearchBot a Claude-User (Anthropic) a Bingbot, z ktorého čerpá Copilot aj ChatGPT.
• Roboty na trénovanie modelov zbierajú texty na učenie budúcich verzií AI: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Applebot-Extended. Google-Extended nie je samostatný robot, ale značka, ktorou poviete, či môže Google váš obsah použiť pre Gemini.

Pre malú firmu, ktorá chce byť odporúčaná, odporúčam pustiť všetkých. Ak nechcete, aby sa z vášho obsahu trénovali modely, blokujte len trénovacích robotov – nikdy nie tých vyhľadávacích.

1. robots.txt

Súbor nájdete na adrese vasafirma.sk/robots.txt. Takto vyzerá nastavenie, ktoré AI roboty výslovne pustí:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /

User-agent: *
Disallow: /admin/

Sitemap: https://vasafirma.sk/sitemap.xml

Na čo si dať pozor:

• Riadok Disallow: / pod User-agent: * zakazuje celý web všetkým robotom, ktoré nemajú vlastnú sekciu. Často ostane zapnutý po vývoji webu.
• WordPress má v Nastaveniach → Čítanie voľbu „Odradiť vyhľadávače od indexovania tejto stránky“. Musí byť vypnutá.
• Niektoré SEO doplnky pridávajú blokovanie AI robotov ako „ochranu obsahu“. Skontrolujte ich nastavenia.

2. Firewall a ochrana hostingu

robots.txt je len prosba, robot si ho prečíta a rozhodne sa. Firewall hostingu (WAF) robota zastaví ešte predtým – a robots.txt vtedy nehrá rolu. Typické prejavy:

• AI roboty dostávajú chybu 403 alebo stránku s overením „Nie som robot“.
• Bing Webmaster Tools hlási chyby pri sťahovaní stránok.
• V logoch servera vidíte požiadavky od GPTBot či PerplexityBot so stavom 403 alebo 429.

Riešenie: v administrácii hostingu nájdite ochranu proti robotom (bot protection, antibot, WAF) a povoľte overených robotov vyhľadávačov a AI. Ak to v administrácii nejde, napíšte podpore hostingu a pošlite im zoznam robotov z tohto článku.

3. Cloudflare

Ak web beží cez Cloudflare, venujte mu zvláštnu pozornosť. Od júla 2025 Cloudflare pri nových doménach predvolene blokuje AI roboty a ponúka aj „Bot Fight Mode“, ktorý vie zastaviť aj tých užitočných.

• V nastaveniach Security → Bots skontrolujte voľbu blokovania AI robotov („Block AI bots“) a zvoľte, či chcete blokovať len trénovacích robotov, alebo nikoho.
• Prejdite AI Crawl Control (predtým AI Audit): uvidíte, ktoré AI roboty web navštevujú, a každého viete samostatne povoliť alebo zablokovať.
• Ak máte zapnutý Bot Fight Mode, overte, že overení roboti (Verified bots) prechádzajú.

Ako to overiť

• Test webu zadarmo: Test webu s oblasťou Viditeľnosť v AI skontroluje robots.txt za vás a ukáže, ktorých AI robotov blokujete.
• Logy servera: v administrácii hostingu si pozrite prístupové logy a vyhľadajte GPTBot, OAI-SearchBot, PerplexityBot. Stav 200 je v poriadku, 403 znamená blokovanie.
• Perplexity: opýtajte sa na obsah konkrétnej podstránky vášho webu. Ak odpovie, že stránku nevie načítať, niečo ju blokuje.

Keď sú dvere pre AI otvorené, má zmysel pokračovať ďalšími krokmi: llms.txt, Bing Webmaster Tools a meranie návštev z AI v GA4.

Nechcete sa v nastaveniach hostingu a Cloudflare hrabať sami? Napíšte mi cez bezplatný audit – skontrolujem, či vás AI vidí, a nastavím to.