SEO-гайд · robots txt sitemap xml seo
Robots.txt и sitemap.xml: как не мешать индексации
Robots.txt и sitemap.xml не продвигают сайт сами по себе, но помогают поисковым системам правильно сканировать проект. Ошибка в этих файлах может закрыть важные страницы или оставить мусор в индексе.
Что делает robots.txt
Robots.txt управляет обходом, а не гарантированной индексацией. Через него обычно закрывают служебные разделы, корзину, личный кабинет, параметры и технические файлы, которые не должны расходовать краулинговый бюджет.
Не закрывайте CSS и JS без причины: поисковики должны видеть страницу близко к тому, как её видит пользователь.
Зачем нужен sitemap.xml
Sitemap помогает подсказать поисковикам список важных URL и дату обновления. В него стоит включать только канонические страницы с кодом 200, которые вы действительно хотите продвигать.
Не добавляйте в sitemap страницы с noindex, редиректы, дубли, результаты фильтров без стратегии и закрытые разделы. Такой файл ухудшает качество технического сигнала.
Как проверять связку
Проверьте, что URL из sitemap не запрещены в robots.txt, не ведут на 404/301, имеют корректный canonical и доступны без авторизации. После крупных изменений обновите sitemap и отправьте его в панели вебмастеров.
Если сайт переезжает или меняет структуру, robots и sitemap нужно проверять вместе с картой редиректов: эти три элемента часто ломаются одновременно.
Практика в сервисе
Закрепите статью инструментом
Откройте связанный инструмент SEO Cortex, внесите URL, тему или текст страницы и получите готовый результат для внедрения.