Сплит тесты что это

Коллеги из ExperimentFest рассказывают, чем объясняется качество системы сплитования трафика и как его определить.

В своей работе компании часто сталкиваются с ситуациями, когда системы сплитования трафика для A/B-тестов сломаны. Сломанная система сплитования — это система, которая нечестно распределяет трафик между контрольной и тестовой группой, из-за чего исход эксперимента может объясняться не качеством гипотез, а тем, что система работает с ошибками. Проверкам качества систем сплитования либо уделяется очень мало времени, либо не уделяется совсем.

Мультивариантное тестирование: что это и как провести

A/B/n тестирование — один из методов маркетингового исследования, с помощью которого сравнивают эффективность нескольких вариантов контента в email-рассылке и в других кампаниях. Проверяют отдельные элементы или нескольких разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.

Какие элементы сообщения можно тестировать с помощью A/B/n:

• объём текста в письмах;
• текст, дизайн, размер или расположение кнопок для конверсий;
• тема или прехедер email-письма;
• заголовок или иконка push-уведомления;
• цены на товары;
• описание продукта и заголовки в описании;
• иллюстрации для товаров.

Зачем проводить A/B/n тестирование

1. Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он купит именно у вас. Незаметные кнопки и непонятная навигация ведут к потере клиентов и потенциального дохода.
2. Увеличение конверсии. С помощью теста вы найдёте самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.
3. Проверка идей. Во время разработки нового дизайна случаются споры. Чья идея лучше? Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.
4. Экономия ресурсов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.
5. Новые идеи для будущих кампаний. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.

Как провести A/B/n тестирование

Altcraft Platform позволяет проводить как простые сплит-тесты (A/B), так и более сложное A/B/n тестирование. Чтобы показать, как работать с MVT кампаниями в платформе, мы проведём несложный A/B тест, т.е. сравним два варианта одного сообщения.

Шаг 1. Определите проблему и обозначьте гипотезу

Найдите слабые места ваших маркетинговых кампаний. Здесь на помощь придут аналитические инструменты. Например, вы можете воспользоваться сводным отчётом платформы Altcraft, где собраны основные показатели рассылок в различных каналах. Допустим, вы заметили, что у приветственной email-рассылки высокий Open Rate, но низкий CTR. Значит, тема и прехедер письма хорошие, а проблема, скорее всего, кроется в самом содержимом: нерелевантный текст, отсутствие визуального контента или неэффективный призыв к действию.

Ещё один полезный инструмент — это карта кликов. Она даёт визуальное изображение вашего email письма с указанием количества уникальных кликов подписчиков возле каждой ссылки. С помощью карты вы сможете опеределить наиболее удачное расположение и оформление ссылок.

Шаг 2. Создайте варианты для теста

Теперь вам надо создать отдельный шаблон для каждого варианта сообщения. Тестировать можно до 16 шаблонов одновременно, но помните, что, чем больше вариантов сообщения, тем больше должна быть ваша аудитория для теста. Результаты будут значимыми только при достаточном трафике для каждого варианта. Также для получения достоверных результатов рекомендуется тестировать только один элемент шаблона.

Перейдите в раздел «Шаблоны». Нажмите кнопку «Создать» в верхней части страницы и выберите нужный канал отправки: Email, SMS или Push. Сверстайте шаблоны и сохраните их.