1. robots.txt и упрощение индексации
2. Как собрать файлы robots.txt
3. А что такое мета-роботы?
4. Правила использования файлов

Технические показатели SEO, такие как robots.txt и теги Meta Robots, играют важную роль в индексации поисковых систем. Их оптимизация способствует успеху в поиске.

Для успешной индексации в поисковой системе важны различные аспекты SEO. содержание Оптимизация, генерация ссылок и т. Д. Не следует пренебрегать техническими факторами, которые помогают индексации сканеров Google и Co. Особенно роботы Теги .txt и Meta Robots могут способствовать лучшей индексации.

robots.txt и упрощение индексации

Robots.txt представляет собой текстовый файл, где каждая строка состоит из двух полей, разделенных двоеточием. Боты поисковых систем (так называемые сканеры, роботы или пауки) могут использовать этот файл для индексации веб-сайта. Потому что они сначала читают robots.txt в корневом каталоге (root) домена. Таким образом, этот файл может установить степень, в которой бот сканирует сайт. Поэтому владельцам веб-сайтов очень важно знать, как правильно создать файл robots.txt. Ошибки могут привести к путанице и, следовательно, к неправильной индексации.

С 1994 года он пишет Стандарт исключения роботов до того, что текстовые файлы должны содержать. Теперь, если вы создаете файл robots.txt, который должен упростить индексацию вашей страницы с помощью робота Google, убедитесь, что у вас есть правильный файл. Здесь также может robots.txt тестер от Google помощь.

Как собрать файлы robots.txt

Файл robots.txt можно найти на верхнем уровне каталога, чтобы сканер мог непосредственно прочитать любую информацию. Данные для каталогов начинаются непосредственно за доменом. Там сейчас заявления разрешают и запрещают .

Давайте начнем с простого примера. Если вы не хотите разрешать что-либо боту, robots.txt будет выглядеть так:

Пользователь-агент: *

Disallow: /

В этом примере звездочка за пользовательским агентом является заполнителем для всех ботов. Косая черта после оператора disallow обозначает все данные корневого каталога со всеми подкаталогами. Однако, поскольку вы хотите, чтобы сканеры могли индексировать определенные страницы на вашей странице, вы должны знать, какие страницы вы можете сделать недоступными. Если это страницы с учетными записями, которые, например, Google не должен сканировать, robots.txt будет выглядеть так:

Агент пользователя: Googlebot

Disallow: / аккаунт *

Кроме того, могут использоваться различные команды. Таким образом, каталоги могут быть заблокированы, но разрешены частичные каталоги. Примером может быть:

Пользовательский агент: *

Disallow: / магазин /

Разрешить: / магазин / журнал /

Отдельные страницы также могут быть заблокированы с помощью URL. SEO Книга дает хороший обзор основных и других случаев при сборке robots.txt. Кроме того, следует отметить, что файл robots.txt является возможным местом для Карта сайта XML-файл Пример того, как это может выглядеть как шоу Сергей Грибняк в журнале поисковой системы ,

Файл robots.txt, включающий хост и карту сайта, журнал скриншотов поисковой системы

Файлы, которые дают сканерам свои инструкции, очень важны для SEO, потому что небольшие ошибки, такие как функция disallow, могут сделать страницы недоступными для сканеров, которые вам не нужны. И с этим, вы можете ограничить свой трафик в долгосрочной перспективе.

А что такое мета-роботы?

Тэги Meta Robots являются специальным HTML Метатеги которые помогают оптимизировать или исключать отдельные страницы или вложения из индексации или нет. Вот четыре основных тега Meta Robots:

• следовать
• индекс
• NOFOLLOW
• NOINDEX

Это будет комбинация index , nofollow, ответственная за то, что поисковые системы индексируют страницу, но не могут отслеживать свои ссылки. Такова основа этих тегов. Сергей Грибняк предлагает четыре шага как эти теги могут быть реализованы. Во-первых, исходный текст страницы должен вызываться (Ctrl + U), прежде чем вставлять «верхнюю» часть кода страницы в новый документ путем копирования и вставки. В результате этот документ может быть использован для предоставления разработчикам рекомендаций о том, где, как и, что наиболее важно, какие метатеги-теги вы хотите реализовать.

Возможный пример показывает Google если страница не отображается в результатах Новостей Google:

Пример мета-робота после Google, скриншот Google

В дополнение к четырем упомянутым тегам, есть и другие, один из которых Google представляет наиболее ,

Самые популярные теги Meta Robots после Google, скриншот Google

Правила использования файлов

При использовании тегов robots.txt и Meta Robots существуют некоторые основные правила. Кстати, следует отметить, что эти реализации не мешают друг другу. Важно, чтобы ограничительные инструкции имели приоритет. Таким образом, если robots.txt позволяет сканировать страницу с помощью allow , он все равно будет отключен, если метатег робота страницы не был случайно указан как noindex .

Простые правила - с указанием Сергей Грибняк - для robots.txt также есть:

• поместите файл robots.txt в верхний каталог страницы
• структурируйте robots.txt в соответствии с шаблоном: User-agent → Disallow → Allow → Host → Sitemap
• поместите каждый URL, который вы хотите разрешить / запретить в отдельной строке
• напишите robots.txt вместо robots.txt
• не используйте пробелы для разделения параметров в операторе
• не используйте специальные символы, кроме * и $
• создавать разные файлы robots.txt для разных поддоменов

Для мета-роботов теги применяются прежде всего:

• В зависимости от выбранного вами типа индексации, в лучшем случае выберите вариант
• Избегайте многих метатегов и используйте больше инструкций (например, noindex и nofollow ) в метатеге
• Старайтесь избегать конфликтующих метатегов, чтобы уменьшить количество ошибок при индексации.

Хотя мы только частично обрисовали здесь параметры для тегов Meta Robots и robots.txt, оказывается, что приложение может в значительной степени поддерживать этот SEO. Поэтому, если не только оптимизация контента и сбор такого количества ссылок или аналогичных стратегий, сколько и технические аспекты оптимизации поисковых систем, обрабатываются адекватно, разумная надежда на увеличение поискового трафика возрастает. В конечном счете, маркетологи и эксперты SEO должны иметь дело именно с этим вопросом, чтобы избежать каких-либо ошибок. Но если текстовые файлы созданы правильно, сканирование поисковых систем несколько управляемо. Так что есть другой способ оптимизации сайта и более особенный маркетинг Кампания открывается.

источник: Журнал поисковой системы

Похожие

Комментарии