1. Методология эксперимента
2. отбор проб
4. Результаты
5. АА Тестирование
6. Подтверждение развертывания после эксперимента
7. обсуждение
8. Takeaways

Внешние поисковые системы, такие как Google и Bing, являются основным источником трафика для Etsy, особенно для наших длинных, трудных для поиска товаров, и, следовательно, поисковая оптимизация (SEO) важна для эффективного обнаружения листингов на нашей платформе.

Мы хотим убедиться, что наша стратегия SEO основана на данных, и мы можем быть уверены, что любые изменения, которые мы внесем, принесут положительные результаты. В Etsy мы постоянно проводим эксперименты, чтобы оптимизировать взаимодействие с пользователями и обнаружение на нашей платформе, и поэтому мы естественным образом обратились к экспериментам для повышения производительности SEO. В то время как провести эксперимент на наших собственных страницах и в приложениях относительно просто, для проведения экспериментов с SEO требовалось изменить способ отображения страниц Etsy в результатах поисковых систем, над которыми мы не имели прямого контроля.

Чтобы преодолеть это ограничение, мы разработали слегка измененную структуру экспериментального дизайна, которая позволяет нам эффективно тестировать, как изменения на наших страницах влияют на нашу производительность SEO. Этот пост объясняет методологию нашего SEO-тестирования, проблемы, с которыми мы столкнулись, и то, как мы их решили.

Методология эксперимента

В одном из наших экспериментов мы предположили, что изменение заголовков, отображаемых на наших страницах в результатах поиска (так называемые «теги заголовков»), может повысить рейтинг кликов. Etsy имеет миллионы страниц, сгенерированных из пользовательского контента, которые были пригодны для теста. Многие из этих страниц также получают большую часть своего трафика через SEO.

Ниже приведен пример шаблона, который мы использовали при настройке недавнего эксперимента с тегом заголовка SEO.

Мы были вдохновлены SEO тестами на Pinterest а также чертежная кнопка и решили организовать аналогичный эксперимент, в котором мы случайным образом распределили наши страницы по разным группам и применили разные фразы заголовков тегов, показанные выше. Мы измеряли бы успех каждой тестовой группы по тому, сколько трафика она проехала относительно контрольных групп. В этом эксперименте мы также создали две контрольные группы, чтобы иметь более высокую степень достоверности наших результатов и иметь возможность проверять качество нашей рандомизированной выборки после начала эксперимента.

отбор проб

Мы взяли небольшую выборку страниц аналогичного типа, убедившись, что наша выборка была достаточно большой, чтобы позволить нам достичь статистической значимости в течение разумного периода времени.

Поскольку посещения отдельных страниц очень изменчивы, со множеством выбросов и колебаний изо дня в день, нам пришлось создать относительно большие группы по 1000 страниц в каждой, чтобы ожидать быстрого достижения значимости. Кроме того, из-за высокой степени расхождения между нашими страницами простая случайная выборка наших страниц в тестовые группы создавала тестовые группы, отличающиеся друг от друга статистически значимым образом еще до начала эксперимента.

Чтобы наши тестовые группы были более сопоставимыми, мы использовали стратифицированная выборка где мы сначала ранжировали страницы, которые должны быть частью теста по визитам, разбили их на группы ntile, а затем случайным образом распределили страницы из каждой группы ntile в одну из групп тестирования, обеспечив выборку страницы из каждой группы ntile , Это гарантировало, что наши тестовые группы были последовательно репрезентативны для всей выборки и более надежно похожи друг на друга.

Затем мы рассмотрели статистические показатели для каждой тестовой группы за предыдущий период времени, вычислили средние значения и значения стандартного отклонения по месяцам и выполнили t-тесты, чтобы убедиться, что группы не отличались друг от друга статистически значимым образом. Все тестовые группы прошли этот тест.

Оценка причинно-следственной связи

Хотя тестируемые группы в нашем эксперименте не отличались друг от друга на статистически значимом уровне до эксперимента, были небольшие различия, которые не позволяли оценить точное причинное воздействие после лечения. Например, в тестовой группе XYZ может наблюдаться увеличение по сравнению с контролем B, но если контроль B был немного лучше, чем в тестовых группах XYZ даже до начала эксперимента, простое определение разницы между двумя группами не было бы лучшей оценкой разницы. лечение было проведено.

Одним из распространенных подходов к решению этой проблемы является расчет различий между тестовой и контрольной группами до и после лечения.

Хотя этот подход работал бы хорошо, он мог бы создать две разные оценочные величины эффекта лечения при сравнении тестовых групп с двумя разными контрольными группами. Мы решили, что вместо этого использование анализа байесовских структурных временных рядов для создания синтетической контрольной группы, включающей информацию из обеих контрольных групп, обеспечит более четкий анализ результатов.

При таком подходе модель машинного обучения обучается с использованием данных предварительной обработки для прогнозирования производительности каждой тестовой группы на основе ее ковариации относительно ее предикторов - в нашем случае, двух контрольных групп. После того, как модель обучена, она используется для создания контрфактивных синтетических контрольных групп для каждой из тестовых групп, имитирующих то, что произошло бы, если бы лечение не применялось.

Анализ причинно-следственных связей в этом эксперименте был осуществлен с использованием CausalImpact пакет от Google.

Результаты

Мы начали видеть результаты наших тестовых процедур уже через несколько дней после даты начала эксперимента. Даже, казалось бы, очень тонкие изменения тега заголовка привели к большим и статистически значимым изменениям трафика на наших страницах.

В некоторых тестовых группах мы наблюдали значительный рост трафика.

Хотя в других мы не увидели никаких изменений.

А в некоторых других мы даже увидели сильное негативное изменение трафика.

АА Тестирование

Две контрольные группы в этом тесте не показали статистически значимых различий по сравнению друг с другом после эксперимента. Хотя было обнаружено небольшое изменение, эффект не достиг значимости.

Подтверждение развертывания после эксперимента

После того как мы определили тег заголовка с наилучшими показателями, лечение было развернуто во всех тестовых группах. Другие группы испытали подобные подъемы в трафике, и дисперсия между ведрами исчезла, далее подтверждая наши результаты.

Тот факт, что наши две контрольные группы не видели никаких изменений по сравнению друг с другом, а также тот факт, что другие ведра испытали такое же улучшение производительности после того, как к ним было применено самое эффективное лечение, дали нам прочную основу для уверенности в достоверности наших Результаты.

обсуждение

В наших результатах оказалось, что более короткие теги заголовка работают лучше, чем более длинные. Это может быть связано с тем, что для более коротких и более целевых тегов заголовков существует более высокая вероятность совпадения в процентах (которое можно рассчитать с использованием метрики, такой как Расстояние Левенштейна между поисковым запросом и тегом заголовка) по отношению к любому заданному поисковому запросу пользователя в Google.

В аналогичной гипотезе может оказаться, что использование меток заголовков с точным таргетингом, которые по тексту более похожи на обычные поисковые термины, помогает повысить процентное соответствие поисковым запросам Google и, следовательно, повысить рейтинг.

Тем не менее, вполне вероятно, что разные стратегии хорошо работают для разных веб-сайтов, и мы рекомендуем тщательное тестирование, чтобы выявить лучшую стратегию SEO, адаптированную для каждого конкретного случая.

Takeaways

• Есть две контрольные группы для тестирования АА. Это позволило нам гораздо больше доверять нашим результатам.
• Пакет CausalImpact можно использовать для простого учета небольших различий в тестовых и контрольных группах и более точной оценки различий в лечении.
• Для тегов заголовков, скорее всего, лучше всего использовать фразы и формулировки, которые максимизируют вероятность совпадения с низким расстоянием Левенштейна из популярных поисковых запросов Google.

Кредиты изображений:

Визуализация стратифицированной выборки

Похожие сообщения

Похожие

Комментарии