Robots.txt и MetaS роботы - SEO контрольный список для Joomla - Alpha Design

  1. robots.txt
  2. Расширенные настройки с файлом robots.txt
  3. Разрешить CSS и Javascript?
  4. Проверьте свой файл robots.txt в Инструментах Google для веб-мастеров.
  5. Укажите местоположение вашей карты сайта
  6. Joomla обновляет и модифицирует файл robots.txt
  7. Мета-робот

Автор Тьерри Тардиф.

Мета-тег robots и файл robots.txt - это два разных и независимых механизма для передачи определенной информации роботам поисковой системы. Один не заменяет другой, и вам нужно знать, как их использовать и настроить их оба.

robots.txt

Конфигурация файла robots.tx выполняется вне администрации Joomla, чтобы изменить его, отредактируйте этот файл, который находится в корне вашего сайта Joomla.

Файл robots.txt - это файл, который содержит информацию о том, какие части сайта должны быть доступны для общественности. Есть в основном поисковые роботы, которые просматривают веб-сайты, чтобы определить, какие страницы должны быть включены в их индекс. По умолчанию роботы поисковых систем могут просматривать весь ваш сайт, если вы хотите заблокировать доступ к некоторым частям сайта, вы должны указать его в этом файле.

Обратите внимание, что блокировка URL-адреса с помощью robots.txt не помешает Google проиндексировать страницу. Он просто перестанет проверять эту страницу. Посмотрите на этот результат поиска для инструментов Raven SEO, который очень хорошо расположен.

Поэтому, чтобы быть абсолютно уверенным, что страница не проиндексирована, используйте мета-тег robots, как подробно описано далее в этой статье.

Установка Joomla включает в себя стандартный файл robots.txt, который подходит для большинства сайтов, за исключением одной основной проблемы: он блокирует доступ поисковых роботов к каталогу / images . Это предотвращает индексацию изображений на вашем сайте, что, конечно, никому не нужно. Вы должны либо прокомментировать эту строку, либо удалить ее.

Пользователь-агент: *
Disallow: / администратор /
Disallow: / cache /
Disallow: / cli /
Disallow: / компоненты /
# Disallow: / images / <------

Прокомментируйте эту строку с помощью #
Disallow: / включает в себя /
Disallow: / установка /
Disallow: / язык /
Disallow: / библиотеки /
Disallow: / logs /
# Disallow: / media / <------ Прокомментируйте эту строку с помощью #
Disallow: / modules /
Disallow: / плагины /
# Disallow: / templates / <------ Прокомментируйте эту строку с помощью #
Disallow: / tmp /

Примечание: начиная с Joomla 3.3, эта проблема была исправлена, и эти каталоги больше не блокируются.

Как видите, этот файл используется для блокировки системных файлов Joomla. Вы также можете использовать файл robots.txt, чтобы предотвратить индексирование определенных страниц, таких как страница входа или страница ошибки 404, но это будет сделано более эффективно, чем если бы вы использовали метатег robots в это время. конец.

Чтобы убедиться, что ваш файл robots.txt работает должным образом, перейдите в раздел Инструменты для веб-мастеров Google в разделе «Инструменты исследования Robots.txt ».

Расширенные настройки с файлом robots.txt

Опытные пользователи могут использовать файл robots.txt, чтобы заблокировать индексацию страницы с помощью сопоставления с шаблоном . Например, вы можете заблокировать индексацию всех страниц, содержащих «?» чтобы защитить вас от дублированного контента с нереактивных URL:

Пользователь-агент: *
Disallow: / *? *

Будьте осторожны с настройками этого типа. Другие примеры этого типа доступны на searchengineland.com ,

Разрешить CSS и Javascript?

Google недавно сделал заметку о сайтах, доступных под смартфонами (см. видео от Мэтта Каттса на это):

Не блокируйте CSS, Javascript и другие файлы ресурсов по умолчанию. Это лучший способ оптимизировать мобильную страницу.

Вот почему каталог / templates больше не блокируется при установке Joomla с июля 2014 года (то же самое для каталога / media ).

Однако убедитесь, что все ваши файлы ресурсов не заблокированы. Если вы используете плагин, такой как JCH-optimize, который объединяет несколько файлов CSS и Javascript в два уникальных файла, вам может потребоваться разблокировать (разрешить) некоторые правила, подобные этим:

Разрешить: / plugins / system / jch_optimize / assets2 /
Разрешить: / плагины / system / jch_optimize / assets /

Проверьте свой файл robots.txt в Инструментах Google для веб-мастеров.

В 2014 году Google стал более строгим в отношении содержимого файла robots.txt. Он стал более суетливым в отношении блокировки некоторых ресурсов (CSS и JS), но он также представил инструменты тестирования в Google Webmaster Tools, чтобы помочь вам протестировать ваш файл robots.txt. Первый - это инструмент тестирования robots.txt , который вы найдете в разделе « Исследование ».

В приведенном выше примере нет ошибок или предупреждений. Помните, что это всего лишь базовый тест, который проверяет только введенные вами строки, но не проверяет, являются ли заблокированные ресурсы важными для вашего сайта.

Именно в этот момент инструмент « Исследуй как Google » ( Exploration> Explorer вроде Google) становится очень интересным. Я настоятельно советую вам протестировать свой сайт с помощью этого инструмента, вы можете получить очень удивительные результаты. Этот инструмент пытается проверить ваш сайт, как боты Google, которые просматривают ваш сайт. Теперь давайте посмотрим на рендеринг сайта с помощью этого инструмента, нажав кнопку « Исследовать и отображать » (извлекать и отображать):

Теперь давайте посмотрим на рендеринг сайта с помощью этого инструмента, нажав кнопку « Исследовать и отображать » (извлекать и отображать):

Результат может быть «ок» зеленым, справа от слова Partial (Частичное), этот результат является частичным , поэтому мы еще не закончили !!! Нажмите Частичное слово в столбце Статус , чтобы открыть новую страницу. Теперь ваш сайт может выглядеть как второе изображение ниже:

Теперь ваш сайт может выглядеть как второе изображение ниже:

Это может быть визуализация вашего сайта, когда Google встречает заблокированные каталоги вашего шаблона, или сохраняются файлы CSS и JS вашего шаблона. Теперь очень легко определить, какие файлы заблокированы вашим файлом robots.txt, поскольку Google указывает его на этой странице.

Более подробная статья на эту тему доступна здесь: Robots.txt: не блокировать CSS и Javascript , Обязательно сделайте это, так как это может повлиять на размещение вашего сайта в результатах поиска, если Google не сможет правильно отобразить ваш сайт. И поэтому не может знать, является ли ваш сайт отзывчивым или нет.

Укажите местоположение вашей карты сайта

Файл robots.txt также можно использовать для указания местоположения вашего файла. карта сайта xml если он не находится в корне вашего сайта, что обычно бывает, если ваша карта сайта генерируется расширением Joomla, таким как Xmap, Osmap, Jsitemap и т. д. Для этого посмотрите в настройках вашего расширения, чтобы найти местоположение вашей карты сайта, затем добавьте его в конец файла robots.txt, например так:

Карта сайта: index.php? Option = com_osmap & view = xml & tmpl = component & id = 1

Joomla обновляет и модифицирует файл robots.txt

Время от времени проект Joomla обновляет файл robots.txt, например, путем разблокировки определенных каталогов. Когда это происходит, они не просто предоставляют новый файл robots.txt, он действительно удалит любые настройки, которые вы могли выполнить, поэтому они предоставляют файл с именем robots.txt.dist . Если вы не сделали никаких настроек, вы можете просто удалить существующий файл robots.txt и переименовать файл robots.txt.dist в robots.txt.

Если вы настроили свой robots.txt, проверьте изменения, включенные в robots.txt.dist, и скопируйте эти изменения в пользовательский. Как правило, после обновления Joomla вы будете уведомлены в сообщении после установки, что изменение доступно. Обратите внимание, что та же процедура применима для файла .htaccess.

Мета-робот

Тэг meta robots - лучшее решение для блокировки индексации содержимого, но вы можете сделать это только для URL, а не для системных каталогов. Это очень эффективный метод хранения контента вне индекса Google. С Joomla у вас есть возможность установить этот тег в разных местах одновременно с вводом других настроек SEO, таких как мета-описание. На общем уровне вашего сайта оставьте настройку страницы конфигурации по умолчанию в разделе « Настройки метаданных » . Как видите, у вас есть 4 возможных комбинации настроек:

Если вы не хотите скрыть свой сайт от поисковых систем (что может быть полезно на этапе разработки), сохраняйте Индекс по умолчанию , Следуйте . Для конкретных страниц вы можете сделать другой выбор, либо на уровне статьи, либо на пункте меню, который будет иметь приоритет над общей конфигурацией сайта. Например, страница результатов поиска не должна индексироваться, но если вы хотите, чтобы за ее ссылками следовали боты поисковой системы: выберите « Нет индекса», следуйте тегу. Вы найдете больше информации по этой теме в этом превосходном Электронная книга от того же автора.

Когда вы устанавливаете этот тег в Joomla, вы фактически генерируете приведенный ниже HTML-код. Посмотрев исходный код вашей страницы, вы сможете проверить правильность настроек вашего параметра.

<meta name = "robots" content = "NOINDEX, NOFOLLOW">

Предупреждение : если вы используете Noindex, Nofollow, чтобы скрыть свой сайт в разработке, не забудьте изменить его, когда вы разместите его в Интернете (это случилось со мной), иначе ваш SEO-рейтинг скорее всего будет более чем плохим. ..

Саймон Клоостра является автором статьи: Robots.txt + метатег чей перевод разрешен joomlaseo.com ,

Спасибо за оценку этой статьи.

Похожие

Seo Joomla
Стратегии позиционирования, применяемые специализированными веб-агентствами, отличаются в основном друг от друга используемой тактикой, и хорошо известно, что для продвижения сайта в исследования могут использоваться различные методы. Если вы хотите узнать больше о SEO техники Я приглашаю вас посетить раздел Joomlelian словарь где
Google Panda SEO
Панда: Почему нет SEO лучше ленивого SEO Обновление Google Panda - это отдельный алгоритм, который запускается каждые несколько месяцев и выполняет поиск сайтов низкого качества. Сайты, на которые нацелена Panda от Google, обычно имеют характерный след, который может включать в себя любое из следующего: Дублированный
Robots.txt и настройки вашего сайта | Мир SEO - Оптимизация сайта (SEO)
... для определения поведения сканеров. Понять, как это работает и как вы можете настроить свой. Концепция Robots.txt Robots.txt - это файл конфигурации, который находится в корне сайтов и служит для руководства поведением сканеров, сообщая поисковым системам, что они могут и не могут индексировать. Robots.txt
SEO SEO: 5 способов улучшить вашу SEO SEO
... иями о том, что Facebook видит больше трафика, чем Google Имеет смысл, что многие владельцы малого и среднего бизнеса начинают серьезно относиться к созданию магазина на модной социальной сети"> С сообщениями о том, что Facebook видит больше трафика, чем Google Имеет смысл, что многие владельцы малого и среднего бизнеса начинают серьезно относиться к созданию магазина на модной социальной сети. Страницы Facebook часто используются
SEO SEO Контрольный список на 2017 год
Страницы с подробным описанием продукта являются наиболее мощными инструментами убеждения и конверсии онлайн-продавца. Поэтому сделать эти страницы доступными и желательными на страницах результатов поисковой системы должно быть важной стратегией. По большей части именно на странице с описанием товара покупатель решает, стоит ли покупать товар. Таким образом, эти страницы, в первую очередь, должны обеспечивать хороший, продуктивный пользовательский опыт. Знать, где подходит
SEO Гарантия
Samyak Online приобрел обширный опыт SEO, выполняя много проектов SEO за эти годы. Мы добились успеха в предоставлении результатов SEO и занимаем лидирующие позиции в SEO компании в Индии. Мы гарантируем, что мы посвятим наши знания и ресурсы для оптимизации и повышения эффективности SEO вашего сайта, применяя этические методы SEO. Наш гарантированный SEO сервис демонстрируется нашим опытом и уверенностью в нашей способности
Bellevue SEO
Добро пожаловать на страницу SEO Bellevue на HelmutHampton.com. Меня зовут Хельмут Хэмптон, и моя компания является SEO-агентством №1 в Кистоуне, Уэстчейз и Цитрусовом Парке во Флориде. Это касается как наших Google, так и наших клиентов. Вы можете увидеть это в наших рейтингах и наших отзывах. Смотрите оба ниже. Мы доминируем над поисковыми системами в нашей области, и теперь мы распространяемся на Bellevue, WA. Прожив во Флориде большую часть своей жизни, мы с женой очень рады переехать
SEO PowerSuite
... для SEO-отслеживания объединяет лучшие инструменты SEO Link Assistant в одном месте, где они легко доступны и могут работать вместе над вашей полной программой SEO. PRO: SEO PowerSuite сильна в инструментах исследования и оптимизации ключевых слов. CON: программное обеспечение имеет ограниченные возможности для экспорта данных и SEO отчетов. Оптимизация ключевых слов Инструмент подсказки ключевых слов SEO PowerSuite собирает данные
Лондонское SEO
... и я хотел бы помочь ранжировать ваш бизнес на первой странице Google, чтобы вы могли получать больше трафика и доходов"> Здравствуйте, меня зовут Даррен Бойл, и я хотел бы помочь ранжировать ваш бизнес на первой странице Google, чтобы вы могли получать больше трафика и доходов. Как потребитель, когда вы искали лондонского SEO, вы нашли эту страницу с помощью поисковой оптимизации (SEO). Лондон - основной деловой город в Великобритании. London
ᐅ SEO сервис в Google
Создание веб-страницы - это первый шаг к созданию присутствия в Интернете, но чтобы добиться успеха в Интернете, необходимо, чтобы наши клиенты знали наши услуги, и для этого одной из лучших альтернатив, которая существует, является позиционирование в Интернете.
Новые богатые карты Google
Google недавно анонсировал обновленную версию Rich Snippets - Rich Cards . Богатые карты Google появляются в обычных результатах мобильного поиска рецептов и фильмов. Rich Cards предлагает улучшенный визуальный дизайн от прежних Rich Snippets. Пользователи могут просматривать карусель изображений со звездными отзывами и названием бренда. Изображение предоставлено Google

Комментарии

Вы когда-нибудь хотели бы получить контрольный список SEO от Google о том, что вы должны и не должны делать с вашим сайтом?
Вы когда-нибудь хотели бы получить контрольный список SEO от Google о том, что вы должны и не должны делать с вашим сайтом? Вы собираетесь получить следующую лучшую вещь. Эта серия из трех частей охватывает обзор сайта SEO, представленный на Google I / O 2010, и содержит советы, которые вы можете использовать для повышения рейтинга своего сайта, взятые прямо у Мэтта Каттса из Google и других представителей Google. Google недавно провел обзор сайта SEO в
Вам нужно исправить ваши карты SEO?
Вам нужно исправить ваши карты SEO? В сегодняшнем БЕСПЛАТНОМ обучении я собираюсь показать вам, как исправить результаты поиска в Google Local SEO Listing. Почти десять лет мы специализируемся на локальной оптимизации Google (или для британских читателей: «Оптимизация Google мест») - продолжайте читать - это наши лучшие 20 лучших советов Google Local. Лучшее местное SEO-агентство мира раскрывает свои 20 лучших секретов!
Однако, когда посетители ищут ваш продукт в поиске Google, они не находят ваш сайт на странице 1 Google, есть ли еще потенциал для продаж с вашего сайта?
Однако, когда посетители ищут ваш продукт в поиске Google, они не находят ваш сайт на странице 1 Google, есть ли еще потенциал для продаж с вашего сайта? Резюме компании. Бали Медиа Компьютерс как Бали SEO сервис, который обслуживает Google SEO
Знаете ли вы, как оценить, нужно ли вашей организации нанимать консультанта по SEO или SEO агентство ?
Однако, когда посетители ищут ваш продукт в поиске Google, они не находят ваш сайт на странице 1 Google, есть ли еще потенциал для продаж с вашего сайта? Резюме компании. Бали Медиа Компьютерс как Бали SEO сервис, который обслуживает Google SEO
Какое отношение имеет Google к SEO?
Какое отношение имеет Google к SEO? Как одна из крупнейших поисковых систем - более 90 процентов всех поисков в США это происходит через Google - это во многом связано с SEO. Это одна из причин, почему многие считают Google SEO и SEO синонимами. Именно поэтому многие маркетологи и компании сосредоточены на оптимизации своего контента для Google. Google SEO: как оптимизировать
Если или когда вы интегрируете стратегии SEO в создание вакансии, добавьте этот вопрос в свой список при рассмотрении ключевых слов: кто мой идеальный кандидат?
Если или когда вы интегрируете стратегии SEO в создание вакансии, добавьте этот вопрос в свой список при рассмотрении ключевых слов: кто мой идеальный кандидат? Думая, как ищущий работу, поможет вам определить лучшие ключевые слова SEO. Как и в первом пункте, знание вашей аудитории поможет вам выбрать лучшие ключевые слова. Но что даже лучше, чем знать свою аудиторию? Думая как они. Если вы ищете разработчика программного обеспечения начального уровня,
Так, каковы главные вещи, которые не имеют никакого влияния на SEO, и это не должно иметь никакого отношения к Вашей оценке CMS с точки зрения SEO?
Так, каковы главные вещи, которые не имеют никакого влияния на SEO, и это не должно иметь никакого отношения к Вашей оценке CMS с точки зрения SEO? Добавление по умолчанию расширений .html / .php / etc к URL-адресам. Добавление этих расширений файлов не повредит, но и не помогает. Поисковые системы достаточно умны, чтобы понять, о чем страница без расширений файлов. Возможность отправки в поисковых системах - Отправка каждой страницы вашего сайта в поисковых системах
Сам Google даже заявляет: «Никто не может гарантировать рейтинг № 1 в Google», и мы должны слушать Google, верно?
Сам Google даже заявляет: «Никто не может гарантировать рейтинг № 1 в Google», и мы должны слушать Google, верно? Если компания действительно быстро выводит вас на первое место, то это потому, что они, вероятно, используют методы «черной шляпы» (неэтично), которые могут в конечном итоге привести к штрафам поисковой системы. Вы можете достичь быстрого подъема на вершину, но за ним, вероятно, последует болезненный резкий спад. Это действительно не стоит того. Они «Эксперт»
Итак, вопрос в том, что такое Yoast SEO и как настроить карту сайта Yoast SEO на сайте?
Итак, вопрос в том, что такое Yoast SEO и как настроить карту сайта Yoast SEO на сайте? Yoast SEO - один из самых популярных бесплатных плагинов для SEO, доступных на платформе WordPress. Кроме того, он имеет возможность купить премиум расширение с некоторыми дополнительными функциями, где он был добавлен. Но важные функции SEO являются частью самого бесплатного плагина, так что не так важно покупать премиум-аккаунт для Yoast. Новички, которые являются новичками в WordPress,
Как мне подтвердить свой сайт в Инструментах для веб-мастеров?
Как мне подтвердить свой сайт в Инструментах для веб-мастеров? Войдите в систему с бесплатной учетной записью и зайти Вот , назад
Что нам, как экспертам по SEO, необходимо сделать сегодня с точки зрения ключевых слов, чтобы вернуться в благодать Google?
Что нам, как экспертам по SEO, необходимо сделать сегодня с точки зрения ключевых слов, чтобы вернуться в благодать Google? Длиннохвостые ключевые слова Сегодня вместо того, чтобы просто использовать ключевые слова, мы рекомендуем использовать правильно размещенные ключевые слова с длинными хвостами. Подождите минуту - вам, наверное, интересно, что в мире является ключевым словом «длинный хвост» (если вы уже знаете, вы получаете бонусные баллы!)

Например, вы можете заблокировать индексацию всех страниц, содержащих «?
Php?
Вы когда-нибудь хотели бы получить контрольный список SEO от Google о том, что вы должны и не должны делать с вашим сайтом?
Вам нужно исправить ваши карты SEO?
Однако, когда посетители ищут ваш продукт в поиске Google, они не находят ваш сайт на странице 1 Google, есть ли еще потенциал для продаж с вашего сайта?
Однако, когда посетители ищут ваш продукт в поиске Google, они не находят ваш сайт на странице 1 Google, есть ли еще потенциал для продаж с вашего сайта?
Однако, когда посетители ищут ваш продукт в поиске Google, они не находят ваш сайт на странице 1 Google, есть ли еще потенциал для продаж с вашего сайта?
Какое отношение имеет Google к SEO?
Если или когда вы интегрируете стратегии SEO в создание вакансии, добавьте этот вопрос в свой список при рассмотрении ключевых слов: кто мой идеальный кандидат?
Но что даже лучше, чем знать свою аудиторию?
3D стерео фильмы для 5D
    Как купить билеты на поезд

    Я всегда в последнее время пользуюсь услугами настоящего интернет сайта. Он у меня внушает доверие. И здесь придбати квитки возможно в любое

    Ведущие корпоративов
    Хотя до наступления зимы осталось еще полтора месяца, многие коллективы уже сейчас планируют, как они будут встречать Новый год. Руководство рассматривает суммы, которые могли бы быть потрачены на корпоратив,

    Custom plugins and WordPress themes
    Шаблоны страниц в WordPress являются отличным способом изменить структуру страниц или добавить им функциональности. Создание собственного шаблона страниц может быть не простым делом, особенно для новичков,

    Продукт WooCommerce
    Каждый умный человек в современном мире прекрасно понимает, что в двадцать первом веке просто нельзя упускать возможность узнать или же научиться чему-либо новому. Особенно, если речь касается электронной