robots.txt a AI roboti: koho pustit a koho ne

Zablokovat GPTBot je legitimní rozhodnutí. Zablokovat OAI-SearchBot znamená, že vás ChatGPT nemá kde najít. Většina webů to má jedním řádkem dohromady.

Když se řekne „zablokovat AI roboty", myslí se tím obvykle jedna věc: nechci, aby se někdo trénoval na mém obsahu. To je rozumný postoj. Problém je, že se přitom běžně zablokuje i něco úplně jiného.

Tři druhy robotů, které je potřeba rozlišit

Tréninkoví sbírají obsah pro učení modelu. GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended. Zablokovat je je rozhodnutí o vašem majetku a viditelnost vás to nestojí.

Vyhledávací hledají zdroj pro odpověď, která vzniká právě teď. OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot, Bingbot, DuckAssistBot. Když zablokujete tyhle, z odpovědí zmizíte — a žádná práce na obsahu to nespraví.

Na vyžádání stahují stránku, když na ni uživatel sám odkáže. ChatGPT-User, Claude-User, Perplexity-User. Blokovat je znamená, že se váš web nenačte ani na přímou žádost člověka.

Nejčastější chyba

Vypadá takhle:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

První blok je volba. Druhý je ztráta, o které obvykle nikdo neví. Záměr byl jeden, důsledky dva.

Co s Google-Extended

Samostatná poznámka, protože se to plete nejčastěji: Google-Extended neřídí indexaci ve vyhledávání ani zobrazení v AI Overviews. Řídí jen použití obsahu pro trénink Gemini. Zablokovat ho tedy můžete, aniž byste přišli o pozice.

Co vás o AI Overviews připraví, je zablokovaný Googlebot.

A co llms.txt

Krátká odpověď: nejspíš nic neudělá. Počet těchto souborů vzrostl za rok z 4 088 na 36 120, ale podle serverových logů ze 137 tisíc domén 97 % z nich v květnu 2026 nikdo nestáhl. Největší podíl dotazů na ně tvořily SEO nástroje, ne AI roboti — retrieval boti jen 1,1 %. Google navíc uvádí, že na viditelnost ve vyhledávání vliv nemá.

Smysl dává u rozsáhlé dokumentace nebo API. U běžného webu je to práce bez návratnosti. Na řízení robotů používejte robots.txt.

Zkontrolujte si to

Nástroj na kontrolu přístupu AI robotů vezme vaši doménu, stáhne robots.txt a projde 17 robotů s rozlišením, co který dělá.

Zdroje: Originality.ai a Ahrefs — data o llms.txt