Logs + crawl: полное руководство по перекрестному анализу

  1. История анализа журнала
  2. Мониторинг журнала и перекрестный анализ
  3. Мониторинг журнала
  4. Категоризация ваших URL
  5. Что такое журналы сервера?

Это руководство будет направлено на популяризацию этого вида очень богатого анализа учения о поведении поисковой системы на сайте. Мы называем это обычно, журналы перекрестного анализа + сканирование .

Этот тип аудита часто выполняется опытными SEO, которые требуют хорошего знания поведения поисковых систем и технического подхода к SEO.

Он часто считается сложным (а иногда это имеет место при больших объемах) и теперь доступен для многих благодаря множеству доступных инструментов. Это требует обязательного наличия платного или бесплатного инструмента, особенно если у вас есть объем, и вы хотите получить макро-графику ваших данных. Журналирование журналов сервера часто полезно, например, для понимания феномена индексации или для определения окон сканирования (продолжительность сканирования Google, чтобы увидеть большинство ваших страниц).

Цель этого руководства, которое должно быть полным, но не исчерпывающим, состоит в том, чтобы быть очень практичным с небольшой концепцией и теориями, чтобы понять интерес руки (мало или много в зависимости от решений, которые вы выбираете) в центре "матрицы".

Эти инструменты анализа обхода сайта выполняют только одну роль: проверять ваши гипотезы, оценивать объем проблемы, измерять скорость сканирования или количество активных страниц и т. Д. Вы не сможете улучшить свои показатели SEO, если не сможете интерпретировать результаты. Хуже того, часто SEO-специалисты принимают неправильные решения, не осознавая, что на самом деле сканирование или журналы являются неполными (что является очень распространенной ошибкой).

Мы часто говорим это нашим клиентам (и нашим молодым новобранцам), что инструмент не является самоцелью, он просто подтверждает то, что вы представляете в своей аналитической работе. Эти инструменты не заменят вашего таланта, анализа на месте, согласованности даты обновления Google, снижения трафика, анализа аналитики и многого другого.

В зависимости от инструментов, которые вы используете, может потребоваться использовать командные строки для запуска сканирования (в питон например) или для фильтрации журналов, особенно если вы работаете с большими объемами. Тем не менее, с такими платными инструментами, как Oncrawl или Botify, запуск такого типа обучения требует меньше технических навыков. С другой стороны, полученные результаты требуют хорошего контроля показателей и эксперимента, чтобы правильно интерпретировать результаты.

Кроме того, Search Foresight поставил перед собой цель опубликовать исчерпывающее руководство, представляющее, что такое перекрестный анализ, какие полезные результаты можно использовать при установке открытого или платного инструмента. Вкратце, обзор этой практики SEO, которая может быть огромной в обнаруженных сайтах роста и в обучении ботов на ваших сайтах.

История анализа журнала

Сегодня этот тип подхода все чаще предлагается агентствами или консультантами, особенно с такими услугами SAAS, как Botify или Oncrawl. Кроме того, первым агентством во Франции, разработавшим такой подход, было Aposition. Более того, некоторые из бывших сотрудников, которые сегодня запустили эти решения в Saas, пришли из этого агентства: Botify , KELOGS , WatussiBox ...

Филипп Йонне и я хорошо знали его за то, что он работал несколько лет, в последние годы "быстро". Он просуществовал 10 лет (с 2002 по 2012 год) и разрабатывал собственные инструменты, которые обычно использовались в командной строке. Он приобрел репутацию технического агентства SEO, что было признано всеми экспертами в этой области.

Сегодня в вашем распоряжении несколько решений, и мы рассмотрим их в этом руководстве:

Решение «от руки»: Excel (с макросом) и командная строка, которые имеют преимущество, заключающееся в том, что они ничего не стоят «с финансовой точки зрения», но могут занять много времени, если вы не автоматизируете свои задачи.

Решения с открытым исходным кодом : ELK (Elasticsearch, Logstash & Kibana), Watussibox в версии с открытым исходным кодом, недорогие решения, но требующие навыков разработки и Linux.

Платные решения : Botify, Oncrawl , Келоги, DeepCrawl , Кричащие лягушки (менее удачная версия) и т. д. Это сервисы, позволяющие вам сделать доступным решение «все включено»: установка или Saas, восстановление ваших журналов и их обработка, графические интерфейсы, обучение их инструментам, регистрация данных. Затраты важны, но финансовые вложения на SEO оптимизацию тоже. Становится необходимым иметь возможность измерять эффективность действий с помощью инструментов этого типа.

Сравните ваши потребности и вашу способность выбрать лучшее из этих решений! Во второй части мы обсудим реализацию решений «от руки» и «Opensource».

Мониторинг журнала и перекрестный анализ

Необходимо отличать мониторинг (сопровождаемый журналами) от перекрестного анализа, который включает в себя сканирование вашего сайта с помощью сканера, воспроизводящего прохождение бота. Действительно, мы не проводим однотипные анализы:

Действительно, мы не проводим однотипные анализы:

Журналы перекрестного анализа + сканирование - Botify

Перекрестный анализ: Логи + Сканирование

Кросс-анализ, который мы называем «Глубокий аудит» в Search Foresight, позволяет разделить на два уровня:

  • один касается прохождения ботов на сайте с ограничениями, которые они испытывают: производительность сервера, глубина, свежесть, бюджет сканирования, рейтинг страницы и т. д.
  • другой получен с помощью сканера, воспроизводящего прохождение бота без ограничений, упомянутых выше, и, таким образом, получающих исчерпывающий перечень всех доступных URL, которые поисковая система может потенциально восстановить.

Сравнивая два слоя, вы выделяете области, где робот Googlebot сканирует, а не сканирует. Прежде всего, вы можете найти то, что он сканирует, когда он не должен его видеть (страницы с пауками и сиротами, о которых мы поговорим чуть позже в этом руководстве), и наоборот, страницы, которые не видят или мало поисковых систем, пока они являются стратегическими для сайта.

Мониторинг журнала

Ватусси бокс

Мониторинг журналов интересен тем, что со временем он проводится путем ежедневного анализа «хитов» (посещений) ботов, а также посещений интернет-пользователей, исходящих от движков на его сайте. Далее следуют первые индикаторы: скорость сканирования, скорость активной страницы, коды ответов (3xx, 4xx, 5xx). Мы можем пойти дальше, измеряя, например, окно сканирования, которое позволит вам узнать о способности поисковой системы сканировать весь сайт. Наконец, это позволяет измерить влияние этих изменений, предпринятых на его сайте, чтобы измерить воздействие на сканирование ботов.

Категоризация ваших URL

Будь то для мониторинга ваших журналов или перекрестного анализа, чтобы получить точное представление о шаблоне страницы или юниверсе, вам нужно будет классифицировать ваши страницы, в целом, по шаблону URL для использование более или менее сложных регулярных выражений в зависимости от желаемой степени точности.

Будь то для мониторинга ваших журналов или перекрестного анализа, чтобы получить точное представление о шаблоне страницы или юниверсе, вам нужно будет классифицировать ваши страницы, в целом, по шаблону URL для использование более или менее сложных регулярных выражений в зависимости от желаемой степени точности

Журналы - инструмент категоризации Botify

Таким образом, вы получаете графики по типу страниц, которые вы выбрали для идентификации, чтобы иметь возможность изучать эти типологии страниц.

SEO посещает осиротевшие страницы - Oncrawl

Что такое журналы сервера?

В журналах сервера записывается любое прохождение человека или движка на вашем сайте.

Внимание, согласно Парижскому апелляционному суду, такие компании, как интернет-провайдеры, обязаны хранить данные о соединении своих сотрудников и сообщать их по судебному требованию в течение не менее 1 года. Смотрите указ

Таким образом, вы можете увидеть прохождение индексирующих роботов (Glop J), роботов инструментов SEO (glop J), спам-роботов (не glop L), людей, которые пытаются сделать вам инъекции SQL ( совсем не глупо) и т. д. Журналы сервера зависят от языка вашего сервера. Наиболее распространенными являются Apache, которые, как правило, уважают стандартный формат, и IIS, как правило, в наиболее экзотическом формате, поскольку часто ими манипулируют инфра-команды.

Без платного решения вам часто приходится искать формат ваших журналов либо в восстановлении, которое выполняется сервером, либо в командной строке, чтобы переместить вашу информацию в нужные столбцы.

Если мы возьмем пример стандартного формата журнала Apache, вот что мы ожидаем в качестве информации:

217.89.107.37 - [29 / Jul / 2016: 00: 00: 08 +0200] «GET /detail-sale-edaa74b2-99d8-93ae-4fa7-dbcae055130c.htm HTTP / 1.1» 410 7101 «-» «Mozilla / 5.0 (Linux, Android 6.0.1, Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (совместимо; Googlebot / 2.1; + http: //www.google.com/ bot.html) »

  1. Дата и время
  2. IP удаленного Клиента
  3. Реферер
  4. User-Agent
  5. Полный URI запроса (это поле должно содержать все параметры в методе GET)

Предупреждение: URI запроса должен быть вызван «удаленным клиентом», а не тем, который фактически вызывается сервером в случае перезаписи URL.

  1. HTTP Response Server : HTTP-метод не является обязательным (GET / POST / HEAD / OPTIONS / ...), он может определять, как Google и Bing, например, считают часть сайта.
  2. Длина содержимого : Длина содержимого автоматически определяет избыточные страницы. Эта информация позволяет нам понять возможные проблемы медленного сканирования.
  3. Запросить домен . В некоторых случаях запрошенные URL-адреса находятся не в основном домене (они находятся на поддомене, IP-адресе или домене без www).

В следующей части мы увидим, как установить анализаторы логов в «портативной», «открытой» и платной версиях.

Оставайтесь с нами!

Похожие

Анализ веб-сайта
Когда используешь SEO чтобы разработать релевантность для конкурентоспособных ключевых слов для вашего сайта, просто помните, что все начинаются с нуля.
SEO анализ
... анализировать, подходит ли структура SEO. Таким образом, контент может быть переставлен так, чтобы соответствовать структуре поисковой системы. Существуют специально разработанные программы, чтобы увидеть, где ваш сайт и контент с точки зрения SEO. Курс является одной из этих программ в SEO Analysis Tool. Анализ показывает, насколько хорош ваш сайт или контент в поисковой системе и находится ли он на верхних позициях. Таким образом, ясно, нужна ли вам оптимизация SEO или нет, и нуждается
Что такое транспортный поток?
Поток трафика (приблизительный показатель) - это показатель, предоставленный Mondovo, который показывает приблизительный объем трафика, который ваш сайт получает для списка ключевых слов, введенных вами в отчете о рейтинге.
Доступное SEO Окленд |
Специалисты по SEO в Окленде, Новая Зеландия, являются (SEO) специалистами по поисковой оптимизации, которые помогли многим клиентам достичь высокого рейтинга в поисковых системах с помощью качественных веб-сайтов. SEO веб-дизайн использует профессиональные концепции, креативный дизайн для создания веб-сайтов с высоким рейтингом. Позвольте нам
Позиционирование в поисковых системах: что есть, а что нет?
В какой-то момент мы все задались вопросом, как они выглядят на этих сайтах в Google, Bing, Yahoo и т. Д.? Хорошо, чтобы четко рассказать о том, что такое позиционирование в поисковой системе, а что нет, я попробую эту публикацию Ясный и лаконичный способ прояснения различных концепций, которые обычно даже многих экспертов по позиционированию SEO путают. Для этого первое, что мы должны знать, это состав использования поисковых систем, хотя, поскольку в Испании более 90% используют Google,
Google объясняет, что каждому индексируемому URL назначен канонический URL
Джон Мюллер из Google объяснил колкость тер
Что такое SEO? Как найти в Google
Как вы думаете, ваши клиенты приходят к вам? Возможно, основной ответ прост: В сегодняшнем посте я расскажу вам историю Фелипе Орсоли. Ты знаешь кто он? Фелипе Орсоли консультант по цифровому маркетингу в Maringá Он был одним из первых пользователей, вступивших в
Что это такое и как работает Majestic?
Специалисты по медиа, маркетингу и интернету используют величавый , Способность адаптироваться к широкому спектру рынков позволила этому инструменту онлайн-маркетинга позиционировать себя как один из самых популярных. Для профессионалов SEO он предлагает помощь в поиске потенциальных клиентов и управлении ими, подготовке предложений, отчетов и проверке веб-сайтов. Это позволяет аналитикам наблюдать за тем, что находится внутри и снаружи виртуального
Знать, что такое SEO
Лучший друг, в этом случае я хочу поделиться о том, как узнать, что такое SEO , надеюсь, это работает. Говоря о маркетинге в мире Интернета, мы узнаем один из самых известных методов, а именно SEO, что означает
История SEO (поисковая оптимизация)
Услуги SEO (поисковая оптимизация) были впервые использованы в период с 1995 по 1997 год в виде спам-сообщений, которые были опубликованы в Usenet. В то время алгоритм поисковой системы был не слишком сложным, как сейчас, которым легко манипулировать.
Структура URL: абсолютная или относительная?
В Интернете сосуществуют несколько форматов URL. Их два: URL может быть абсолютным или относительным . Важно знать, как различать эти две структуры. Действительно, если они не используются должным образом, существует риск, что ваши ссылки не будут работать должным образом: некоторые страницы или ресурсы на вашем сайте могут стать недоступными для отслеживания. В этой статье мы предлагаем провести различие между абсолютным URL и относительным

Комментарии

Этот отчет дает и клиенту, и SEO возможность рассказать о том, что происходит в проекте, что сделано, что должно, как мы измеряем успех и «что это значит снова?
Этот отчет дает и клиенту, и SEO возможность рассказать о том, что происходит в проекте, что сделано, что должно, как мы измеряем успех и «что это значит снова?». Это лучше всего рассмотреть в коротком 30-минутном звонке каждую неделю. Ниже я поделился шаблоном, который мне очень нравится. Его электронная таблица помещается на 1 странице и охватывает практически все, что можно было бы узнать о проекте, начиная с обзора высокого уровня вверху и заканчивая мельчайшими подробностями внизу.
Что такое SEO Что такое поисковая оптимизация?
Что такое SEO Что такое поисковая оптимизация? Вы сначала хотите узнать, что такое SEO / поисковая оптимизация? Тогда прочитайте вступительную статью Что такое SEO? ? В отдельной статье я напишу, как можно найти правильные ключевые слова. Используя ваш здравый смысл, Google и бесплатные инструменты, которые также используют эксперты SEO. считывание
Что это такое, что вы думаете, что вы думаете ,?
Что это такое, что вы думаете, что вы думаете ,??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? Обсуждаем, придумаем, <<Обсудим <. Феодосия, Прибалтика, Прибрежный, Приморский край, Прибрежный Русская, Британская Колумбия, США. Миссисипи, Россия, Германия, Россия, Германия, Россия, Россия
Что такое SEO и что его обслуживает?
Что такое SEO и что его обслуживает? SEO - это аббревиатура от поисковой оптимизации, которая на английском языке означает поисковая оптимизация . Эта практика представляет собой набор техник и настроек, которые вы можете применить на своем сайте, чтобы его более любезно просматривали поисковые системы, такие как Google. При правильном применении методов SEO можно оптимизировать веб-сайты и достичь лучших позиций в поисковых системах.
Если бы вы хотели узнать, что такое «поиск на естественном языке», что бы вы выбрали в Google?
Если бы вы хотели узнать, что такое «поиск на естественном языке», что бы вы выбрали в Google? Вы бы искали «объяснение поиска на естественном языке» или «что такое естественный язык?». Скорее всего, это будет второй вариант. Правильно? Ну, это именно то, что поиск на естественном языке это все о. Проще говоря, он формулирует поисковый запрос так же, как если бы вы разговаривали с реальным человеком, а не с Google (или Bing. Кто-нибудь больше использует Bing?). Как работает
Что такое анализ неработающих ссылок?
Что такое анализ неработающих ссылок? Анализ неработающих ссылок - это система, которая быстро идентифицирует все неработающие изображения или ссылки на вашем сайте. Почему анализ неработающих ссылок имеет значение? Поначалу это может показаться не таким уж большим, но неработающие ссылки на вашем сайте могут нанести серьезный ущерб. Как мы упоминали ранее, одна неработающая ссылка может повлиять на рейтинг вашей поисковой системы,
Да, я знаю, их много, но что вы ответите, если я скажу вам, что, возможно, вы напишете меньше статей, но что они глубже?
Да, я знаю, их много, но что вы ответите, если я скажу вам, что, возможно, вы напишете меньше статей, но что они глубже? В конце концов вам дадут парадокс: вы будете меньше писать, и у вас будет больше посещений, хотя, конечно, чтобы это произошло, вы должны писать действительно хорошо, поддерживать содержание в 300 слов не то же самое, что в 3000 слов. 3. Посмотрите на H Заголовки, также называемые заголовками, также называемыми заголовками, также называемыми
Касаясь SEO, мы имеем в виду, что ключевые слова эта позиция вы И ключевые слова открывают путь в новый мир, который вы, возможно, уже знаете: знаете ли вы, что такое длинный хвост SEO?
Да, я знаю, их много, но что вы ответите, если я скажу вам, что, возможно, вы напишете меньше статей, но что они глубже? В конце концов вам дадут парадокс: вы будете меньше писать, и у вас будет больше посещений, хотя, конечно, чтобы это произошло, вы должны писать действительно хорошо, поддерживать содержание в 300 слов не то же самое, что в 3000 слов. 3. Посмотрите на H Заголовки, также называемые заголовками, также называемыми заголовками, также называемыми
Google думает, что ваше ключевое слово означает то, что вы думаете, что это значит?
Google думает, что ваше ключевое слово означает то, что вы думаете, что это значит? Google имеет дело с большим количеством нюансов в поисковых запросах. Например, когда кто-то ищет «сантехнику» - хотят ли они местного сантехника, хотят ли они поставки сантехники, или они хотят историю сантехники? Или что-то другое? Google покажет тип сайтов, которые, по его мнению, наиболее актуальны для этого ключевого слова. Независимо от того, насколько уместно вы считаете себя нужным для
Что такое URL?
Что такое URL? Прежде чем говорить об абсолютных и относительных путях, важно понять, что такое URL. В интернете это важно. Но вы действительно знаете, что это такое, когда дело доходит до URL? Унифицированный указатель ресурса (URL) - это адрес одного ресурса в сети . Вопреки тому, что можно подумать, URL-адрес предназначен не только
Помните дни, когда вам просто было интересно, какая половина вашей рекламы была потрачена впустую, потому что не было никакого способа понять, что сработало, а что нет?
Помните дни, когда вам просто было интересно, какая половина вашей рекламы была потрачена впустую, потому что не было никакого способа понять, что сработало, а что нет? Уже нет! С помощью веб-аналитики вы можете понять своих посетителей, структуру трафика, маркетинговые кампании, динамику конверсии и многое другое. Этот инструмент позволяет легко настроить ваш веб-сайт и эффективность кампании, чтобы максимизировать рентабельность инвестиций. Шаг 0: Введение в аналитику

Ты знаешь кто он?
Структура URL: абсолютная или относительная?
Этот отчет дает и клиенту, и SEO возможность рассказать о том, что происходит в проекте, что сделано, что должно, как мы измеряем успех и «что это значит снова?
Что такое SEO Что такое поисковая оптимизация?
Что такое SEO Что такое поисковая оптимизация?
Вы сначала хотите узнать, что такое SEO / поисковая оптимизация?
Тогда прочитайте вступительную статью Что такое SEO?
Что это такое, что вы думаете, что вы думаете ,?
Что такое SEO и что его обслуживает?
Если бы вы хотели узнать, что такое «поиск на естественном языке», что бы вы выбрали в Google?
3D стерео фильмы для 5D
    Как купить билеты на поезд

    Я всегда в последнее время пользуюсь услугами настоящего интернет сайта. Он у меня внушает доверие. И здесь придбати квитки возможно в любое

    Ведущие корпоративов
    Хотя до наступления зимы осталось еще полтора месяца, многие коллективы уже сейчас планируют, как они будут встречать Новый год. Руководство рассматривает суммы, которые могли бы быть потрачены на корпоратив,

    Custom plugins and WordPress themes
    Шаблоны страниц в WordPress являются отличным способом изменить структуру страниц или добавить им функциональности. Создание собственного шаблона страниц может быть не простым делом, особенно для новичков,

    Продукт WooCommerce
    Каждый умный человек в современном мире прекрасно понимает, что в двадцать первом веке просто нельзя упускать возможность узнать или же научиться чему-либо новому. Особенно, если речь касается электронной