1. История анализа журнала
2. Мониторинг журнала и перекрестный анализ
3. Мониторинг журнала
4. Категоризация ваших URL
5. Что такое журналы сервера?

Это руководство будет направлено на популяризацию этого вида очень богатого анализа учения о поведении поисковой системы на сайте. Мы называем это обычно, журналы перекрестного анализа + сканирование .

Этот тип аудита часто выполняется опытными SEO, которые требуют хорошего знания поведения поисковых систем и технического подхода к SEO.

Он часто считается сложным (а иногда это имеет место при больших объемах) и теперь доступен для многих благодаря множеству доступных инструментов. Это требует обязательного наличия платного или бесплатного инструмента, особенно если у вас есть объем, и вы хотите получить макро-графику ваших данных. Журналирование журналов сервера часто полезно, например, для понимания феномена индексации или для определения окон сканирования (продолжительность сканирования Google, чтобы увидеть большинство ваших страниц).

Цель этого руководства, которое должно быть полным, но не исчерпывающим, состоит в том, чтобы быть очень практичным с небольшой концепцией и теориями, чтобы понять интерес руки (мало или много в зависимости от решений, которые вы выбираете) в центре "матрицы".

Эти инструменты анализа обхода сайта выполняют только одну роль: проверять ваши гипотезы, оценивать объем проблемы, измерять скорость сканирования или количество активных страниц и т. Д. Вы не сможете улучшить свои показатели SEO, если не сможете интерпретировать результаты. Хуже того, часто SEO-специалисты принимают неправильные решения, не осознавая, что на самом деле сканирование или журналы являются неполными (что является очень распространенной ошибкой).

Мы часто говорим это нашим клиентам (и нашим молодым новобранцам), что инструмент не является самоцелью, он просто подтверждает то, что вы представляете в своей аналитической работе. Эти инструменты не заменят вашего таланта, анализа на месте, согласованности даты обновления Google, снижения трафика, анализа аналитики и многого другого.

В зависимости от инструментов, которые вы используете, может потребоваться использовать командные строки для запуска сканирования (в питон например) или для фильтрации журналов, особенно если вы работаете с большими объемами. Тем не менее, с такими платными инструментами, как Oncrawl или Botify, запуск такого типа обучения требует меньше технических навыков. С другой стороны, полученные результаты требуют хорошего контроля показателей и эксперимента, чтобы правильно интерпретировать результаты.

Кроме того, Search Foresight поставил перед собой цель опубликовать исчерпывающее руководство, представляющее, что такое перекрестный анализ, какие полезные результаты можно использовать при установке открытого или платного инструмента. Вкратце, обзор этой практики SEO, которая может быть огромной в обнаруженных сайтах роста и в обучении ботов на ваших сайтах.

История анализа журнала

Сегодня этот тип подхода все чаще предлагается агентствами или консультантами, особенно с такими услугами SAAS, как Botify или Oncrawl. Кроме того, первым агентством во Франции, разработавшим такой подход, было Aposition. Более того, некоторые из бывших сотрудников, которые сегодня запустили эти решения в Saas, пришли из этого агентства: Botify , KELOGS , WatussiBox ...

Филипп Йонне и я хорошо знали его за то, что он работал несколько лет, в последние годы "быстро". Он просуществовал 10 лет (с 2002 по 2012 год) и разрабатывал собственные инструменты, которые обычно использовались в командной строке. Он приобрел репутацию технического агентства SEO, что было признано всеми экспертами в этой области.

Сегодня в вашем распоряжении несколько решений, и мы рассмотрим их в этом руководстве:

Решение «от руки»: Excel (с макросом) и командная строка, которые имеют преимущество, заключающееся в том, что они ничего не стоят «с финансовой точки зрения», но могут занять много времени, если вы не автоматизируете свои задачи.

Решения с открытым исходным кодом : ELK (Elasticsearch, Logstash & Kibana), Watussibox в версии с открытым исходным кодом, недорогие решения, но требующие навыков разработки и Linux.

Платные решения : Botify, Oncrawl , Келоги, DeepCrawl , Кричащие лягушки (менее удачная версия) и т. д. Это сервисы, позволяющие вам сделать доступным решение «все включено»: установка или Saas, восстановление ваших журналов и их обработка, графические интерфейсы, обучение их инструментам, регистрация данных. Затраты важны, но финансовые вложения на SEO оптимизацию тоже. Становится необходимым иметь возможность измерять эффективность действий с помощью инструментов этого типа.

Сравните ваши потребности и вашу способность выбрать лучшее из этих решений! Во второй части мы обсудим реализацию решений «от руки» и «Opensource».

Мониторинг журнала и перекрестный анализ

Необходимо отличать мониторинг (сопровождаемый журналами) от перекрестного анализа, который включает в себя сканирование вашего сайта с помощью сканера, воспроизводящего прохождение бота. Действительно, мы не проводим однотипные анализы:

Журналы перекрестного анализа + сканирование - Botify

Перекрестный анализ: Логи + Сканирование

Кросс-анализ, который мы называем «Глубокий аудит» в Search Foresight, позволяет разделить на два уровня:

• один касается прохождения ботов на сайте с ограничениями, которые они испытывают: производительность сервера, глубина, свежесть, бюджет сканирования, рейтинг страницы и т. д.
• другой получен с помощью сканера, воспроизводящего прохождение бота без ограничений, упомянутых выше, и, таким образом, получающих исчерпывающий перечень всех доступных URL, которые поисковая система может потенциально восстановить.

Сравнивая два слоя, вы выделяете области, где робот Googlebot сканирует, а не сканирует. Прежде всего, вы можете найти то, что он сканирует, когда он не должен его видеть (страницы с пауками и сиротами, о которых мы поговорим чуть позже в этом руководстве), и наоборот, страницы, которые не видят или мало поисковых систем, пока они являются стратегическими для сайта.

Мониторинг журнала

Ватусси бокс

Мониторинг журналов интересен тем, что со временем он проводится путем ежедневного анализа «хитов» (посещений) ботов, а также посещений интернет-пользователей, исходящих от движков на его сайте. Далее следуют первые индикаторы: скорость сканирования, скорость активной страницы, коды ответов (3xx, 4xx, 5xx). Мы можем пойти дальше, измеряя, например, окно сканирования, которое позволит вам узнать о способности поисковой системы сканировать весь сайт. Наконец, это позволяет измерить влияние этих изменений, предпринятых на его сайте, чтобы измерить воздействие на сканирование ботов.

Категоризация ваших URL

Будь то для мониторинга ваших журналов или перекрестного анализа, чтобы получить точное представление о шаблоне страницы или юниверсе, вам нужно будет классифицировать ваши страницы, в целом, по шаблону URL для использование более или менее сложных регулярных выражений в зависимости от желаемой степени точности.

Журналы - инструмент категоризации Botify

Таким образом, вы получаете графики по типу страниц, которые вы выбрали для идентификации, чтобы иметь возможность изучать эти типологии страниц.

SEO посещает осиротевшие страницы - Oncrawl

Что такое журналы сервера?

В журналах сервера записывается любое прохождение человека или движка на вашем сайте.

Внимание, согласно Парижскому апелляционному суду, такие компании, как интернет-провайдеры, обязаны хранить данные о соединении своих сотрудников и сообщать их по судебному требованию в течение не менее 1 года. Смотрите указ

Таким образом, вы можете увидеть прохождение индексирующих роботов (Glop J), роботов инструментов SEO (glop J), спам-роботов (не glop L), людей, которые пытаются сделать вам инъекции SQL ( совсем не глупо) и т. д. Журналы сервера зависят от языка вашего сервера. Наиболее распространенными являются Apache, которые, как правило, уважают стандартный формат, и IIS, как правило, в наиболее экзотическом формате, поскольку часто ими манипулируют инфра-команды.

Без платного решения вам часто приходится искать формат ваших журналов либо в восстановлении, которое выполняется сервером, либо в командной строке, чтобы переместить вашу информацию в нужные столбцы.

Если мы возьмем пример стандартного формата журнала Apache, вот что мы ожидаем в качестве информации:

217.89.107.37 - [29 / Jul / 2016: 00: 00: 08 +0200] «GET /detail-sale-edaa74b2-99d8-93ae-4fa7-dbcae055130c.htm HTTP / 1.1» 410 7101 «-» «Mozilla / 5.0 (Linux, Android 6.0.1, Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (совместимо; Googlebot / 2.1; + http: //www.google.com/ bot.html) »

1. Дата и время
2. IP удаленного Клиента
3. Реферер
4. User-Agent
5. Полный URI запроса (это поле должно содержать все параметры в методе GET)

Предупреждение: URI запроса должен быть вызван «удаленным клиентом», а не тем, который фактически вызывается сервером в случае перезаписи URL.

1. HTTP Response Server : HTTP-метод не является обязательным (GET / POST / HEAD / OPTIONS / ...), он может определять, как Google и Bing, например, считают часть сайта.
2. Длина содержимого : Длина содержимого автоматически определяет избыточные страницы. Эта информация позволяет нам понять возможные проблемы медленного сканирования.
3. Запросить домен . В некоторых случаях запрошенные URL-адреса находятся не в основном домене (они находятся на поддомене, IP-адресе или домене без www).

В следующей части мы увидим, как установить анализаторы логов в «портативной», «открытой» и платной версиях.

Оставайтесь с нами!

Похожие

Комментарии