Генератор robots.txt

Ні. Він каже добропорядним сканерам не відвідувати сторінки, але заблокована сторінка все ще може зʼявитись у пошуку, якщо на неї посилаються інші сайти. Щоб прибрати сторінку з результатів пошуку, дозвольте сканування й додайте замість цього мета-тег noindex.

Це бізнес-рішення. Блокування навчальних ботів, як GPTBot чи ClaudeBot, тримає ваш контент поза майбутніми навчальними даними. Блокування пошукових ботів, як OAI-SearchBot чи PerplexityBot, також означає, що ваші сторінки не цитуватимуться в цих ШІ-відповідях, що може коштувати трафіку.

У корінь вашого домену, щоб він відкривався на https://your-domain.com/robots.txt. Піддомени потребують власного файлу. Перевірте його в Google Search Console у розділі Налаштування → robots.txt.