1. robots.txt
2. Расширенные настройки с файлом robots.txt
3. Разрешить CSS и Javascript?
4. Проверьте свой файл robots.txt в Инструментах Google для веб-мастеров.
5. Укажите местоположение вашей карты сайта
6. Joomla обновляет и модифицирует файл robots.txt
7. Мета-робот

Автор Тьерри Тардиф.

Мета-тег robots и файл robots.txt - это два разных и независимых механизма для передачи определенной информации роботам поисковой системы. Один не заменяет другой, и вам нужно знать, как их использовать и настроить их оба.

robots.txt

Конфигурация файла robots.tx выполняется вне администрации Joomla, чтобы изменить его, отредактируйте этот файл, который находится в корне вашего сайта Joomla.

Файл robots.txt - это файл, который содержит информацию о том, какие части сайта должны быть доступны для общественности. Есть в основном поисковые роботы, которые просматривают веб-сайты, чтобы определить, какие страницы должны быть включены в их индекс. По умолчанию роботы поисковых систем могут просматривать весь ваш сайт, если вы хотите заблокировать доступ к некоторым частям сайта, вы должны указать его в этом файле.

Обратите внимание, что блокировка URL-адреса с помощью robots.txt не помешает Google проиндексировать страницу. Он просто перестанет проверять эту страницу. Посмотрите на этот результат поиска для инструментов Raven SEO, который очень хорошо расположен.

Поэтому, чтобы быть абсолютно уверенным, что страница не проиндексирована, используйте мета-тег robots, как подробно описано далее в этой статье.

Установка Joomla включает в себя стандартный файл robots.txt, который подходит для большинства сайтов, за исключением одной основной проблемы: он блокирует доступ поисковых роботов к каталогу / images . Это предотвращает индексацию изображений на вашем сайте, что, конечно, никому не нужно. Вы должны либо прокомментировать эту строку, либо удалить ее.

Прокомментируйте эту строку с помощью #
Disallow: / включает в себя /
Disallow: / установка /
Disallow: / язык /
Disallow: / библиотеки /
Disallow: / logs /
# Disallow: / media / <------ Прокомментируйте эту строку с помощью #
Disallow: / modules /
Disallow: / плагины /
# Disallow: / templates / <------ Прокомментируйте эту строку с помощью #
Disallow: / tmp /

Примечание: начиная с Joomla 3.3, эта проблема была исправлена, и эти каталоги больше не блокируются.

Как видите, этот файл используется для блокировки системных файлов Joomla. Вы также можете использовать файл robots.txt, чтобы предотвратить индексирование определенных страниц, таких как страница входа или страница ошибки 404, но это будет сделано более эффективно, чем если бы вы использовали метатег robots в это время. конец.

Чтобы убедиться, что ваш файл robots.txt работает должным образом, перейдите в раздел Инструменты для веб-мастеров Google в разделе «Инструменты исследования Robots.txt ».

Расширенные настройки с файлом robots.txt

Опытные пользователи могут использовать файл robots.txt, чтобы заблокировать индексацию страницы с помощью сопоставления с шаблоном . Например, вы можете заблокировать индексацию всех страниц, содержащих «?» чтобы защитить вас от дублированного контента с нереактивных URL:

Пользователь-агент: *
Disallow: / *? *

Будьте осторожны с настройками этого типа. Другие примеры этого типа доступны на searchengineland.com ,

Разрешить CSS и Javascript?

Google недавно сделал заметку о сайтах, доступных под смартфонами (см. видео от Мэтта Каттса на это):

Не блокируйте CSS, Javascript и другие файлы ресурсов по умолчанию. Это лучший способ оптимизировать мобильную страницу.

Вот почему каталог / templates больше не блокируется при установке Joomla с июля 2014 года (то же самое для каталога / media ).

Однако убедитесь, что все ваши файлы ресурсов не заблокированы. Если вы используете плагин, такой как JCH-optimize, который объединяет несколько файлов CSS и Javascript в два уникальных файла, вам может потребоваться разблокировать (разрешить) некоторые правила, подобные этим:

Проверьте свой файл robots.txt в Инструментах Google для веб-мастеров.

В 2014 году Google стал более строгим в отношении содержимого файла robots.txt. Он стал более суетливым в отношении блокировки некоторых ресурсов (CSS и JS), но он также представил инструменты тестирования в Google Webmaster Tools, чтобы помочь вам протестировать ваш файл robots.txt. Первый - это инструмент тестирования robots.txt , который вы найдете в разделе « Исследование ».

В приведенном выше примере нет ошибок или предупреждений. Помните, что это всего лишь базовый тест, который проверяет только введенные вами строки, но не проверяет, являются ли заблокированные ресурсы важными для вашего сайта.

Именно в этот момент инструмент « Исследуй как Google » ( Exploration> Explorer вроде Google) становится очень интересным. Я настоятельно советую вам протестировать свой сайт с помощью этого инструмента, вы можете получить очень удивительные результаты. Этот инструмент пытается проверить ваш сайт, как боты Google, которые просматривают ваш сайт. Теперь давайте посмотрим на рендеринг сайта с помощью этого инструмента, нажав кнопку « Исследовать и отображать » (извлекать и отображать):

Результат может быть «ок» зеленым, справа от слова Partial (Частичное), этот результат является частичным , поэтому мы еще не закончили !!! Нажмите Частичное слово в столбце Статус , чтобы открыть новую страницу. Теперь ваш сайт может выглядеть как второе изображение ниже:

Это может быть визуализация вашего сайта, когда Google встречает заблокированные каталоги вашего шаблона, или сохраняются файлы CSS и JS вашего шаблона. Теперь очень легко определить, какие файлы заблокированы вашим файлом robots.txt, поскольку Google указывает его на этой странице.

Более подробная статья на эту тему доступна здесь: Robots.txt: не блокировать CSS и Javascript , Обязательно сделайте это, так как это может повлиять на размещение вашего сайта в результатах поиска, если Google не сможет правильно отобразить ваш сайт. И поэтому не может знать, является ли ваш сайт отзывчивым или нет.

Укажите местоположение вашей карты сайта

Файл robots.txt также можно использовать для указания местоположения вашего файла. карта сайта xml если он не находится в корне вашего сайта, что обычно бывает, если ваша карта сайта генерируется расширением Joomla, таким как Xmap, Osmap, Jsitemap и т. д. Для этого посмотрите в настройках вашего расширения, чтобы найти местоположение вашей карты сайта, затем добавьте его в конец файла robots.txt, например так:

Карта сайта: index.php? Option = com_osmap & view = xml & tmpl = component & id = 1

Joomla обновляет и модифицирует файл robots.txt

Время от времени проект Joomla обновляет файл robots.txt, например, путем разблокировки определенных каталогов. Когда это происходит, они не просто предоставляют новый файл robots.txt, он действительно удалит любые настройки, которые вы могли выполнить, поэтому они предоставляют файл с именем robots.txt.dist . Если вы не сделали никаких настроек, вы можете просто удалить существующий файл robots.txt и переименовать файл robots.txt.dist в robots.txt.

Если вы настроили свой robots.txt, проверьте изменения, включенные в robots.txt.dist, и скопируйте эти изменения в пользовательский. Как правило, после обновления Joomla вы будете уведомлены в сообщении после установки, что изменение доступно. Обратите внимание, что та же процедура применима для файла .htaccess.

Мета-робот

Тэг meta robots - лучшее решение для блокировки индексации содержимого, но вы можете сделать это только для URL, а не для системных каталогов. Это очень эффективный метод хранения контента вне индекса Google. С Joomla у вас есть возможность установить этот тег в разных местах одновременно с вводом других настроек SEO, таких как мета-описание. На общем уровне вашего сайта оставьте настройку страницы конфигурации по умолчанию в разделе « Настройки метаданных » . Как видите, у вас есть 4 возможных комбинации настроек:

Если вы не хотите скрыть свой сайт от поисковых систем (что может быть полезно на этапе разработки), сохраняйте Индекс по умолчанию , Следуйте . Для конкретных страниц вы можете сделать другой выбор, либо на уровне статьи, либо на пункте меню, который будет иметь приоритет над общей конфигурацией сайта. Например, страница результатов поиска не должна индексироваться, но если вы хотите, чтобы за ее ссылками следовали боты поисковой системы: выберите « Нет индекса», следуйте тегу. Вы найдете больше информации по этой теме в этом превосходном Электронная книга от того же автора.

Когда вы устанавливаете этот тег в Joomla, вы фактически генерируете приведенный ниже HTML-код. Посмотрев исходный код вашей страницы, вы сможете проверить правильность настроек вашего параметра.

<meta name = "robots" content = "NOINDEX, NOFOLLOW">

Предупреждение : если вы используете Noindex, Nofollow, чтобы скрыть свой сайт в разработке, не забудьте изменить его, когда вы разместите его в Интернете (это случилось со мной), иначе ваш SEO-рейтинг скорее всего будет более чем плохим. ..

Саймон Клоостра является автором статьи: Robots.txt + метатег чей перевод разрешен joomlaseo.com ,

Спасибо за оценку этой статьи.

Похожие

Комментарии