XML Sitemap: зачем нужен, как настроить и прочее
Опубликовано: 31.10.2017
Работая SEO-консультантом, я видел множество клиентов с самыми нелепыми заблуждениями в отношении XML Sitemap. Карта сайта – это мощный инструмент, но чтобы умело им пользоваться, нужна небольшая подготовка и опыт.
Карта сайта и robots.txt для сайта на WordPress
Индексация
Наверное, самым частым заблуждением является то, что XML-карта сайта помогает индексации страниц. Первое, что нужно чётко понять: Google не индексирует страницы только потому, что вы любезно об этом попросили. Google индексирует их потому, что: а) он их находит и сканирует; б) он считает их достаточно качественными, чтобы индексировать. Если вы указываете Google на страницу и просите проиндексировать её, совсем не обязательно, что так и будет.
Важно отметить, что отправляя файл sitemap.xml, вы даёте Google подсказку. В результате поисковик понимает, что вы считаете эти URL достаточно качественными целевыми страницами, стоящими индексации. Но это лишь подсказка, что они важны. Такая же, как ссылка на страницу из главного меню.
Последовательность
Одной из самых частых ошибок, которые я наблюдал у клиентов – отсутствие последовательности в передаче Google информации о конкретной странице. Если вы блокируете страницу в файле robots.txt, а затем включаете её в файл XML Sitemap, вы запутываете Google. Ваша карта сайта говорит: «Google, вот хорошая, качественная страница, которую тебе точно нужно проиндексировать». При этом файл robots.txt запрещает её индексировать.
То же самое касается и метатега robots: не включайте страницу в файл Sitemap, если вы планируете добавить на неё метатег robots со значением «noindex, follow». Используйте этот метатег только в том случае, если вы не хотите, чтоб Google индексировал страницу.