1. Концепция Robots.txt
2. Написание Robots.txt
3. Пример проверенного файла Robots.txt

Виниций Паес - 5 сентября 2008 г.

Robots.txt - это файл конфигурации, который присутствует на сайтах и ​​служит для определения поведения сканеров. Понять, как это работает и как вы можете настроить свой.

Концепция Robots.txt

Robots.txt - это файл конфигурации, который находится в корне сайтов и служит для руководства поведением сканеров, сообщая поисковым системам, что они могут и не могут индексировать. Robots.txt - это первая вещь, на которую сканеры обращаются, когда они приходят на сайт, когда он отсутствует, боты затем предполагают, что сайт использует конфигурацию по умолчанию Robots.txt, которая говорит, что весь сайт открыт для индексации. , Основная функция Robots.txt, как указано выше, состоит в том, чтобы сказать, что можно, а что нельзя индексировать на вашем сайте, но роботов также можно использовать для других целей, например, чтобы избежать дублирования контента (блокирование папок или страниц). вашего сайта, который может в конечном итоге генерировать дубликаты URL-адресов) или для менее «благородных» целей, таких как скрытие какой-то черной шляпы, страницы, которую сканеры не должны видеть, но, как мы всегда повторяем здесь, никогда не стоит использовать какие-либо ухищрения черная шляпа SEO для любых целей, в случае использования robots.txt для скрытия черной шляпы, например, если вы блокируете страницу, она не защищена от того, что кто-то может ссылаться на нее с другого сайта, и она читается и проиндексированы поисковыми системами таким же образом.

Написание Robots.txt

Синтаксис (режим записи) файла Robots.txt стандартный (все сканеры в целом понимают, что вы пишете одинаково), и он также довольно прост. Есть несколько основных команд:

• Disallow: это основная и наиболее часто используемая команда в контексте роботов. Он сообщает сканерам, что они не должны получить доступ. Вы можете использовать disallow, чтобы запретить индексацию отдельной страницы или исключить индексирование всей папки вашего сервера. Чтобы указать, что отдельная страница не должна быть проиндексирована, просто используйте:

  Disallow: /directory/subpasta/page.html

  Чтобы сказать, что папка не должна быть проиндексирована, просто используйте:

  Disallow: / directory / subfolder /

  Важным примечанием является то, что если вы заблокируете папку, содержащую другие подпапки (например, папку каталога в приведенном выше примере), все подпапки и внутренние файлы также будут заблокированы, так что спланируйте, что вы собираетесь заблокировать, чтобы не потерять то, что должны быть проиндексированы.

• User-agent: команда, используемая для определения, какие сканеры будут действительны для этих правил. Поскольку поведение сканеров и политики различных поисковых систем имеют небольшие различия, иногда бывает интересно написать конкретные фрагменты robots.txt для каждого бота, один для Google Crawler, один для Yahoo !, и т. Д. Агент записывается следующим образом:

  Пользователь-агент: <crawler_name>

  Например, используя код ниже:

  Пользователь-агент: googlebot

  Disallow: / directory / subfolder /

  Папка будет заблокирована только для Googlebot и будет проиндексирована всеми остальными. Имя сканеров основных поисковых систем (для использования в User-agent):

  • Google: googlebot
  • Yahoo !: slurp
  • MSN: msnbot
• Карта сайта. В отличие от двух команд, упомянутых выше, карта сайта является более простой и служит для явного указания сканерам местоположения вашей карты сайта и предотвращения риска, что они его не найдут. Пример этой команды:

  Карта сайта: http://www.mundoseo.com.br/blog/sitemap.xml

• Разрешить: работает точно так же, как команда Disallow. Использование позволяет вам четко сказать ботам, что определенные страницы и папки должны быть посещены. Это команда, которая используется только в очень особых случаях, так как сканеры просматривают все папки как разрешенные. Случай, когда Разрешить полезен, был бы случаем, когда весь сайт ограничен, и только одна страница или папка могут быть проиндексированы, тогда интересно заблокировать все и затем выпустить ниже с разрешением, что можно найти.

Пример проверенного файла Robots.txt

Ниже приведен пример полного файла Robots.txt и пояснения для каждой строки:

1. Карта сайта: http://www.siteexample.com/sitemap.xml

2. Пользователь-агент: *

3. Запретить: / admin /

4. Запретить: / cgi-bin /

5. Запретить: / Фотографии /

6. Запретить: / технология /

7. Разрешить: / Технологии / Компьютеры

8. Пользователь-агент: googlebot

9. Запретить: / категории /

10: Disallow: / templates /

Объяснение каждой команды:

Строка 1. Используйте команду sitemap, чтобы указать папку, в которой находится файл Sitemap, и имя файла.

Строка 2 : эта команда указывает, что строки ниже (строки с 3 по 7) будут прочитаны, и за ними следуют все сканеры всех поисковых систем.

Строки с 3 по 6 : указывают, какие папки не будут проиндексированы для всех искателей

Строка 7: указывает на то, что, хотя папка технологии не индексируется, компьютеры подпапок могут быть прочитаны

Строка 8 : указывает, что из этой строки команды будут действительны только для Googlebot

Строки 9 и 10: папки, которые не мог открыть только робот Google.

Вот и все, сейчас любые вопросы Оптимизация сайта просто попросите оставить свой комментарий, обнимает !!

Об авторе: магистр компьютерных наук и технологий Федерального университета Итахуба, и увлечен развитием различных веб-технологий. Вы можете найти его по щебет , facebook и Google+ ,

Похожие

Комментарии