Robots.txt, sitemap и canonical: что за что отвечает

Robots.txt управляет обходом

Файл robots.txt сообщает роботам, какие пути можно обходить. Он не предназначен для удаления URL из поискового индекса: заблокированная страница всё ещё может быть обнаружена по ссылкам. Если страницу нужно исключить из индекса, выберите подходящий способ, например meta robots или HTTP-заголовок, и убедитесь, что робот может прочитать этот сигнал.

Sitemap помогает обнаружить URL

XML-карта сайта перечисляет канонические страницы, которые вы считаете важными для поиска. Она не гарантирует индексирование, но упрощает обнаружение адресов, особенно на большом или недавно обновлённом сайте. Включайте чистые URL с успешным ответом и актуальным canonical.

Canonical показывает предпочтительную версию

Тег rel=canonical помогает обозначить основную страницу среди дублей или очень похожих URL. Это сигнал, а не команда. Ссылки, карта сайта и внутренние canonical должны быть согласованы. Не используйте его как замену редиректам при переезде страницы.

Согласуйте сигналы между собой

Если URL закрыт robots.txt, поисковая система может не увидеть canonical на странице. Если в sitemap включён адрес, который canonical указывает на другой, сигналы конфликтуют. Сведите к одному набору индексируемых URL навигацию, sitemap и canonical.

Минимальная проверка перед публикацией

Проверьте robots.txt, HTTP-коды страниц, canonical, meta robots, редиректы и содержимое sitemap. Убедитесь, что важные страницы доступны без авторизации и имеют хотя бы одну внутреннюю ссылку.

Итог

Robots.txt отвечает за обход, sitemap — за обнаружение важных адресов, canonical — за предпочтительную версию похожих страниц. Корректная индексация зависит от согласованности всех трёх.