A/B тестирование — относительно новый, но очень эффективный инструмент повышения конверсии. В Google Trends интерес к нему растёт на 50-90 % в месяц. Это порождает много вопросов, ответы на которые непросто найти. Раньше было непросто найти.
Что такое A/B тестирование?
Это один из самых эффективных методов повышения конверсии. A/B тестирование позволяет определить, какой вариант страницы лучше конвертирует посетителей в покупателей.
Таким образом, вы можете точно узнать как изменение дизайна страницы или какого-либо определенного элемента влияет на показатель конверсии. Мало того, что A/B тестирование позволяет изменять сайт только в лучшую сторону, так как все решения основываются на статистических данных, собранных в ходе эксперимента. Так это ещё позволяет избавиться от всех предположений и разногласий в вашей команде относительно сайта, когда каждый пытается навязать свою точку зрения.
A/B тестирование – это только цифры. Цифры, основанные на действиях посетителей. Результаты экспериментов говорят сами за себя и направляют вас на верный путь. Конечная цель A/B тестирования – повысить показатели прибыли, регистраций, скачиваний и т.п. И достигается эта цель за счёт полноценного понимания своей аудитории.
A/B ТЕСТИРОВАНИЕ простыми словами. Как провести АБ тест правильно?

Как провести A/B тестирование сайта?
Есть два варианта: бесплатный и платный.
Бесплатно провести эксперимент можно с помощью Google Analytics Content Experiment либо самописных скриптов.Чтобы создать эксперимент через Google Analytics, нужно перейти во вкладку «Поведение» > «Эксперименты». И там уже можно создать эксперимент.

Что касается самописных скриптов для распределения трафика, то более подробную информацию можно найти здесь. Лично я никогда не пользовался этим вариантом и не собираюсь этого делать.
Главный недостаток этих двух вариантов – тестовые варианты страницы придётся создавать самостоятельно.
Фактически, нужно будет сверстать новую страницу с определённым изменением. Новая страница будет иметь ссылку типа www.boosta.ru/?variation=1. Ещё один недостаток бесплатных способов – отсутствие дополнительных функций, которые предоставляют сервисы.
Но гораздо удобнее и быстрее проводить эксперименты с помощью специальных сервисов:
Подробный список сервисов для A/B тестирования с описанием функционала и стоимостью можно найти здесь.
В чём преимущества сервисов:
Главное преимущество сервисов для A/B тестов – визуальный редактор для создания тестовых вариантов
В некоторых средних/крупных компаниях разработчики пишут софт конкретно под свои потребности. Это вполне целесообразно, если функционала сервисов недостаточно. Сколько это стоит – сложно сказать. И тут уже в каждом конкретном примере нужно оценивать рациональность собственной разработки.
Зачем и как делать A/B тестирование сайта. Сплит-тестирование лендинга
С чего лучше всего начать A/B тестирование?
В первую очередь нужно тестировать те элементы, которые напрямую влияют на конверсию. Это СТА-кнопки, формы на сайте, текстовые элементы на посадочной странице, изображения, видеоролики. Каждый перечисленный элемент играет важное значение в воронке продаж.
Попадая на страницу, посетитель чаще всего сталкивается с текстами (заголовки, подзаголовки, описания), изображениями, видеороликами продукта. С этого начинается знакомство с продуктом. Соответственно, изменяя эти элементы, можно влиять на его восприятие, первое впечатление.
Далее ему предлагается заполнить форму: оставить номер, свой e-mail, ввести личные данные и т.п. На этом этапе отваливается большое количество потенциальных клиентов. Соответственно оптимизация форм может значительно повысить конверсию.
После заполнения формы посетителю в любом случае необходимо отправить её и здесь уже происходит взаимодействие с СТА-кнопками (кнопками призыва к действию). Кликабельность кнопки может зависеть от текста, цвета, расположения, размера кнопки и т.п.
Таким образом, все эти элементы играют важную роль в процессе взаимодействия посетителя с сайтом. Поэтому начинать тестирование лучше с них. Запускать такие эксперименты относительно просто. И вероятность получения положительного/отрицательного результата гораздо выше.
Сколько изменений можно делать в тестовом варианте страницы?
Одно из правил A/B тестирования: 1 тест – 1 гипотеза.
Пример гипотезы: «Если мы уберём поле «Имя» из формы подписки, то больше людей будут заполнять форму, в результате чего увеличится база подписчиков». Правильный A/B тест подразумевает одно изменение. Анализируя результаты такого эксперимента, вы будете точно знать, что именно это изменение повлияло на конверсию.
Если в этом примере мы ещё изменим текст кнопки «Подписаться», её цвет, и текст, стимулирующий заполнить форму, то по окончанию эксперимента будет сложно сказать, что именно повлияло на показатель конверсии. Возможно, она увеличилась за счёт поясняющего текста, а измененная кнопка наоборот негативно повлияла на конверсию. Но первое перевесило второе. А, может, нет? Никто уже не узнает этого.
Как долго должен продолжаться эксперимент для получения достоверных результатов?
Минимальная длительность A/B теста – 7 дней.
Неделя выбрана не случайно, т.к. эксперимент будет показан в каждый день недели. 7 дней нужно ждать, т.к.
поведение посетителей может различаться в пятницу и субботу. В пятницу мы сидим на работе и выбираем, что купить, а в субботу, в спокойной обстановке, лёжа на диване, совершаем покупку. Или наоборот. Это неважно.
Факт остаётся фактом: поведение пользователей отличается в разные дни недели.
Если вы будете тестировать менее недели, то результаты могут быть неточными. Вообще, Peep Laja, эксперт в области увеличения конверсии и создатель соответствующего агентства ConversionXL, советует проводить A/B тест 2-4 недели для получения достоверных результатов.
Сколько трафика и конверсий нужно, чтобы провести A/B эксперимент правильно?
Недостаток трафика и конверсий – одна из самых главных проблем в A/B тестировании на небольших сайтах. Полагаться на результаты экспериментов с маленькой выборкой опасно. Слишком велика вероятность ошибки.
Часто говорят про 100 конверсий на каждый вариант страницы: оригинальный и тестовый. Но этого может быть недостаточно.
Если в оригинальном варианте количество конверсий 100, а в тестовом 110, то сделать достоверный вывод сложно.
С другой стороны, если разница между показателями значительная, например, 100 и 170 конверсий, и соблюдаются остальные условия (эксперимент длится не менее 7 дней, статистическая достоверность (значимость) более 95 %), то сделать достоверный вывод будет легко.
Здесь же стоит сказать и о статистической достоверности. Результат можно считать статистически достоверным, если мала вероятность его случайного возникновения. Во всех сервисах для A/B тестирования встроены алгоритмы, которые рассчитывают достоверность автоматически. Если же хотите лично перепроверить результат, то можете воспользоваться калькулятором компании Driveback.
Минимум 100 конверсий на каждый вариант. Статистическая достоверность – от 95 %
Как вы уже поняли, не получится провести достоверный эксперимент на сайте, где в день 1-2 конверсии. Слишком сложно будет получить достоверные результаты.
Нужно ли владеть навыками программирования для запуска A/B эксперимента?
Если запускать тесты через Google Analytics Content Experiment, собственные разработки или самописные скрипты, то без знаний программирования не обойтись.
Если использовать платные сервисы, то чаще всего можно обойтись без этого. При условии, что вы проводите не слишком сложные эксперименты, которые требуют использования JS/jQuery. Для большинства экспериментов визуального редактора достаточно. Все изменения делаются в режиме WYSIWYG (What You See Is What You Get – Что видите, то и получаете).
Каким образом происходит запуск эксперимента через специальные сервисы?
После создания тестового варианта в визуальном редакторе, настройки цели эксперимента, выбора таргетинга и других дополнительных функций, вам даётся специальный js-код. Этот код размещается в страницы, на которой вы собираетесь проводить A/B эксперимент. Код нужно обязательно разместить до закрывающего тега, иначе эксперимент либо вообще не будет работать, либо будет работать неправильно.
Ещё один важный нюанс установки кода – его нельзя вставлять на сайт через Google Tag Manager. Если поставить код через GTM, то при загрузке страницы будет происходить мигание, т.к. сначала будет загружаться оригинальная страница, а только потом тестовая.
Если вы имеете доступ к админке сайта и знаете, как его поставить в , то сами осилите эту задачу. Если нет, придётся просить программиста, который отвечает за ваш сайт. Хорошо то, что коды платных сервисов устанавливаются лишь один раз, после чего запуск эксперимента происходит автоматически, и уже не придётся дергать программиста.
После того, как код размещён на странице, весь трафик автоматически распределяется 50/50 (если вы тестируете 2 страницы: оригинал и тестовый вариант. При 3-ёх вариантах распределение будет следующим: 33%/33%/33%). Распределение происходит автоматически и абсолютно случайно через алгоритмы сервисов.
В начале эксперимента количество показов тестового и оригинального варианта может отличаться. Но по мере увеличения выборки эти цифры становятся практически одинаковыми. Тут та же ситуация, что и с подбрасыванием монетки. Подбросим больше – получим практически одинаковый результат. Подбросим 10 раз – может 7 раз выпасть один и тот же вариант.
A/B тесты негативно влияют на SEO-оптимизацию сайта?
A/B тесты никак не влияют на SEO-оптимизацию сайта. Это миф.
Этот факт был подтвержден ещё в 2012 году сотрудником компании Google.
Тестовый вариант загружается динамически, когда пользователь заходит на сайт. Для отображения используются Javascript и куки. А Googlebot и другие поисковики не поддерживают Javascript и куки. Поэтому они видят только оригинальный вариант. Благодаря этому можно спокойно делать A/B тесты.
A/B тестирование замедляет загрузку сайта?
При использовании сервисов для A/B тестирования или Google Analytics Content Experiment сайт грузится точно так же, как и в обычном режиме. Абсолютно ничего не меняется в плане скорости загрузки. Так происходит благодаря тому, что все сервисы используют асинхронный код, т.е. он не мешает загрузке других компонентов веб-страницы.
Откуда брать идеи для A/B тестирования?
Идеи для A/B тестов нужно брать из веб-аналитики, анализа поведения юзеров, общения с ними
Это идеальный вариант.
Для генерации хороших идей придётся воспользоваться дополнительными сервисами типа Google Analytics, Яндекс.Метрика, сервисами опросов и т.п.
У нас на сайте есть целый раздел, посвящённый инструментам для увеличения конверсии. Там вы можете более подробно ознакомиться со всеми сервисами.
Типичный пример генерации идей для A/B тестирования:
У вас на сайте есть форма регистрации. Заходим в Яндекс.Метрику и использует «Аналитику форм». В ходе анализа вы понимаете, что при заполнении поля «Компания», большинство людей стопорится. 50 % из них закрывают сайт. 50 % тратят на заполнение в два раза больше времени, чем на остальные поля формы.
Какой из этого можно сделать вывод?
Этот вопрос ставит в ступор ваших потенциальных клиентов. Если эта информация не является ключевой, то в тестовом варианте можно убрать это поле и посмотреть, как изменится количество регистраций.
Это простой пример гипотезы для A/B тестирования, основанный на анализе сайта.
Другой вариант – использование идей, которые работают на чужих сайтах. Мы составили огромный список из 100 идей для A/B тестов, которые были применены на практике. Здесь можно ознакомиться с ними: Часть первая и Часть вторая.
Но я советую вам не полагаться полностью на такие списки идей. Они могут направить ваши мысли в нужное русло, но просто взять оттуда идею и реализовать на своём сайте – это не самый лучший вариант.
Анализируйте свой сайт, анализируйте поведение пользователей на нём, общайтесь со своими потенциальными и текущими клиентами. И вы точно будете знать, что не так на сайте и что на нём можно изменить.
Можно ли полагаться на результаты чужих A/B экспериментов?
Чужие кейсы можно и нужно анализировать. Особенно, если это кейсы ваших конкурентов или компаний, которые работают в смежной отрасли или имеют одинаковую целевую аудиторию. Но полагаться полностью на чужие кейсы, как и на подборки идей, — это плохая практика.
Что работает на одном сайте, необязательно будет работать на другом. Каждый сайт индивидуален. Целевая аудитория разная. Взаимодействие с ней – разное. Реализация чужого успешного кейса может даже негативно повлиять на эффективность сайта.
Поэтому никогда не полагайтесь на 100 % на результаты чужих тестов.
Тестируйте всё сами и только на основе этого делайте вывод об эффективности изменений.
Какие A/B эксперименты чаще всего приносят положительный результат?
Если вкратце, то в большинстве A/B тестов положительно работают следующие идеи:
Источник: conversion.im
Получайте новые статьи из нашего блога
+ кучу другой полезной информации об email маркетинге
Рубрики
- Все рубрики (155)
- Аналитика и метрики (3)
- (32)
- Доставляемость (1)
- Инфографика (6)
- Исследования (10)
- Кейсы и практика (3)
- Общие статьи (91)
- Переводы (8)
- Тенденции email маркетинга (1)
A b тестирование или сплит тест — что это такое?
Время чтения: 9 минут

Маркетинговые исследования постоянно развиваются. Ежегодно интернет коммерция набирает обороты. Владельцы сайтов, хотя получать точные аналитические данные, которые бы помогли им понять эффективность метода их продаж. Это способствует увеличению конверсии. Поэтому разрабатываются новые технологии для проведения различных исследований.
Сплит тестирование один из таких эффективных методов, который позволяет владельцу сайта или интернет магазина получить всю необходимую информацию о своём ресурсе.

Что это такое
АБ тест для оценки различных параметров интернет ресурса. Данный метод был разработан маркетологами для оценки эффективности того или иного ресурса. С помощью данного метода, можно определить, насколько эффективна данная внедряемая в сайт технология.
Интернет коммерция направлена на продажу товаров или предоставления определённых услуг пользователю. Если, к примеру, посетитель находится в интернет магазине, то он должен либо добавить в корзину понравившейся ему товар, либо приобрести его.
Если этого не происходит, или если на одной из страниц сайта упали продажи, тогда необходимо провести оценку эффективности данного ресурса. Для этого используются различные маркетинговые инструменты. Одним из более современных и популярных сегодня считается ab тестирование.
При использовании данной технологии проведения оценки определённых частей сайты, можно повысить покупательную способность и привлечь больше клиентов на конкретный ресурс или страницу.

Для чего проводится
Проводить подобный метод тестирования данных на своём сайте или странице, а также интернет магазине нужно всем владельцам порталов. Оценка проводимого тестирования позволяет оценить эффективность заложенной технологии продаж или подачи информации для пользователя.
Первое для чего в основном проводится такой метод оценки, это определение слабых сторон в конкретном ресурсе. Технология тестирования позволяет вычислить насколько ресурс или конкретная страница эффективна.
Второе назначение проводимых анализов, это подбор эффективной замены на ресурсе. Предположим ситуацию, при проведении анализа было определено, что конкретный участок на сайте, имеет низкую конверсию, либо посетители данной страницы не задерживаются на ней, хотя информация постоянно обновляется.
Разработчикам для выявления слабой стороны ресурса необходимо будет провести оценку, а также подключить метод сравнения с новыми разработками, чтобы определить, лучше ли новые внедрения, либо они несут ещё более отрицательные показатели.
После проведённой такой оценки и получения статистических данных за определённое время сессии, выделенной для тестирования, можно будет понять, какой метод для улучшения лучше внедрить из тех что были подвержены анализу.

Как проводится
В интернете, аб тестирование преследует цель выявления положительных и отрицательных сторон на определённом портале. Данный метод достаточно многогранен. Его технология применения позволяет определить с высокой точностью, насколько эффективен, тот или иной внедряемый тип данных или информации.
- графическая. Данная группа очень обширна. Она содержит в себе большое количество такой информации для проверки. Это может быть как полностью оформления страницы или всего сайта, так и отдельные графические элементы, в виде рамок и кнопок перехода или покупок;
- название статей. Заголовки и подзаголовки и то на что обращает внимание пользователь после графического оформления на посещаемом ресурсе. Они должны привлекать внимание читателя и приглашать его ознакомиться с представленным материалом;
- размеры. Этот пункт относиться больше к параметрам страниц, нежели к информативности. Размеры оформляемых объектов внутри ресурса очень важны, так как они должны быть гармонично подобран, чтобы не раздражать и не отвлекать посетителя ресурса;
- объёмы. Также как и предыдущий, является параметром. Объёмы нужны для того чтобы грамотно расположить текстовые и графические элементы. Это необходимо для предотвращения перенасыщения страницы объектами;
- цены, предложения, акции. Тут необходимо грамотно подбирать предложения для посетителей портал, чтобы они были заинтересованы в приобретении конкретного товара и оформлении услуги.

На примере технология проверки через сплит тестирование выглядит следующим образом:
Есть интернет магазин, на котором расположено порядка 50 страниц с товарами. Каждая такая страница имеет неплохую конверсию, и покупки совершаются довольно часто. Однако есть одна страница с товаром, на которую пользователи внимание практически не обращают. Назовём эту страницу «А».
Для того чтобы определить насколько эффективна данная страница с продукцией, и определить её слабую сторону, необходимо провести её анализ. Для этого следует создать клон страницы с доработанным дизайном и подзаголовками. И настроить алгоритм посещений так, чтобы половина пользователей, переходя на данный товар, попадали на страницу «А», а другая половина, на разработанную страницу с доработками «Б».
После этого определяется промежуток времени, для замера поступающего траффика пользователей. Определим эти рамки 24 часами. После этого производим контрольный замер, по результатам которого определяем на какую из страниц «А» или «Б», было больше уделено внимание пользователя, и где больше совершались продажи товаров. Та страница, на которой больше процент активности пользователей и будет считаться более востребованной.
Поступающий траффик людей распределяется в случайном порядке на каждую из страниц. Это означает, что определённый алгоритм не нацелен на пропускную способность потока, на конкретную страницу. Все посетители попадают на ресурс благодаря случайному распределению.
Если после проведения тестирования оказывается, что вариант «Б» по рентабельности ниже. Тогда, все действия начинают повторяться вновь. Интересно в данном способе определения эффективности то, что с помощью его, банальным перебором возможных более подходящих вариантов, можно найти конкретный объект, который нужно заменить для улучшения спроса на информацию либо товар предоставляемом на самом сайте.
Люди, посещая ресурс своим выбором, как бы голосуют за конкретный образец по тому или иному виду. Изучая его, аналитики и маркетологи могут понять, насколько эффективен внедряемый метод. Чтобы ускорить данный процесс и не тестировать каждый определённый блок. Можно воспользоваться системой комплексного проведения анализа. По нему можно выставить сразу несколько параметров необходимых для оценки проведённых действий.

Эффективность метода
Проведение обширных анализов эффективности конкретного модуля определяют уровень интереса пользователей на конкретном ресурсе. Тест а б, достаточно эффективный метод по этой оценке.
По сути, он лишь заключается в том, чтобы распределить между объектами «А» И «Б» входящий трафик пользователей. Пользователи самостоятельно определяю для себя более эффективный метод путём своего повышенного спроса к нему.
Данная технология построена на формировании пользовательского спроса. По нему каждый из участников, сам того не подозревая вносит свой голос общую систему оценки действия определённого блока на странице. Именно эти показатели от каждого такого уникального посетителя и формируют общий спрос.
Изучив такую модель проведения анализа по типу тестирования АБ можно сделать вывод, что данная технология достаточно эффективна при определённых видах деятельности, основным из которых является интернет коммерция. Полезность проведения подобных действий заключается и в общей оценки рентабельности того или иного сайта.

Современные технологии проведения данного метода определения лучшей из представленных конструкций, также даёт возможность не просто сравнивать отдельные элементы на ресурсах или его страницы, но и целые сайты. Общая оценка эффективности даёт понять, насколько пользуется спросом данное предложение на интернет рынке.
Руководствуясь полученными статистическими данными, можно понять для себя, какие продукты на рынке более выгодны по одному из заложенных при тестировании понятий. Комплексное принятие подобных мер помогает всесторонне провести оценку эффективности заложенной информации на конкретном сайте.
Если видно, что информация становиться не востребованной и уровень уникальных посетителей начинает снижаться аб тест позволит изучить все характеристики и условия, из-за которых возникли подобные отрицательные изменения и поможет улучшить результат, вернув пользователей на конкретную страницу.

Как провести самостоятельно тестирование
Что такое A/B-тестирование и как его провести
Как понять предпочтения пользователей, не опираясь на свои идеи и догадки.

Илья Харламов
Автор статьи
14 декабря 2022 в 0:34
Возможно, вы сталкивались с дилеммой: появилась хорошая идея — и кажется, что она принесет пользу, но в голове мысль: «Что, если этой доработкой мы всё только усложним?» В таких случаях помогут A/B-тесты.
В статье разберемся: как понять предпочтения пользователей, не опираясь на свои идеи и догадки, и как и когда использовать A/B-тесты, чтобы не разочароваться в результате.
Что такое A/B-тестирование и зачем нужно

Пример A/B-теста с изменением цвета элемента
Например, мы делаем лендинг мероприятия и хотим улучшить конверсию. Приходит дизайнер и говорит: «А давайте сделаем кнопку регистрации более яркой». Идея неплохая, но хочется ее проверить так, чтобы не потерять текущих потенциальных посетителей.
A/B-тестирование — инструмент, который помогает выбрать правильный путь развития продукта, при этом не сильно рискуя усложнить жизнь пользователям.
Как это работает? Вернемся к примеру с лендингом. Мы хотим поменять цвет кнопки на более яркий, но боимся сделать хуже. Тогда мы берем небольшой процент потенциальных посетителей, например 15%, и делаем им ярко-красную кнопку. А для остальных 85% всё оставляем как есть.
Дальше наблюдаем за 15% пользователей с красной кнопкой и сравниваем количество их регистраций с пользователями со старой кнопкой.
Так мы видим, работает наша теория или нет. Например, можно сделать вывод: у лендинга с красной кнопкой хуже конверсия, потому что дизайнер нарисовал красный фон, который сливается с кнопкой. Или наоборот: видно, что пользователи стали чаще замечать кнопку — и на мероприятие зарегистрировалось намного больше людей.
Кому необходимо
A/B-тесты полезны компаниям с уже устоявшейся аудиторией. В таких проектах важно менять продукт максимально деликатно, чтобы не шокировать текущих пользователей масштабными изменениями.
Если вы только начинаете новый проект или запускаете стартап, важно развиваться быстро. Пока нет четко устоявшейся аудитории, у вас есть возможность динамично запускать свои идеи. Не стоит тратить время на A/B-тесты: развивайтесь смело, не боясь допустить критичных ошибок.
Основные виды
Помимо классического A/B-тестирования, когда меняют какой-то небольшой элемент на одной странице, есть еще несколько смежных видов.
Сплит-тестирование (Split Testing). Их иногда путают, но разница — в подходе.
Сплит-тестирование подразумевает запуск отдельной веб-страницы или экрана мобильного приложения с другим наполнением или структурой. Другими словами, проводят тест достаточно масштабных изменений: например, редизайн лендинга.
A/B-тестирование, наоборот, проводят небольшими итерациями, постепенно что-то меняя или добавляя. Например, сначала меняем цвет кнопки, оцениваем результат — и только потом меняем другие элементы.

Мультивариативное тестирование (Multivariate Testing, MVT). В этом виде тестов комбинируют разные небольшие доработки — и на каждый уникальный набор изменений направляют небольшую часть аудитории.
В примере с кнопкой регистрации на лендинге можно поменять не только цвет, но и расположение кнопки. Нужно составить список со всеми возможными вариациями и направить на каждую часть аудитории:
- вариант «Базовый» — оставляем цвет кнопки, оставляем ее расположение;
- вариант А — меняем цвет кнопки на красный, оставляем ее расположение;
- вариант Б — оставляем цвет кнопки, ставим ее в левый угол;
- вариант В — меняем цвет кнопки на красный, ставим ее в левый угол.
На каждый из этих четырех вариантов мы можем направить 25% аудитории и через время посмотреть, где было больше регистраций.

Пример MVT-теста, где тестируют комбинацию изменений (цвет/расположение)
Мультистраничное тестирование (Multipage Testing). Элемент меняют не на одной странице, а на всех, где он встречается. Например, вы можете поменять цвет кнопки на красный на всём сайте.
Чтобы интерпретировать результаты, потребуется больше времени: нужно будет проверить показатели всех действий, которые выполняет новая кнопка на всех страницах сайта или приложения.
Аналитик данных: новая работа через 5 месяцев
Получится, даже если у вас нет опыта в IT


Пример мультистраничного теста, где мы должны проверить конверсию на каждой затронутой странице
Инструменты
На рынке множество инструментов, которые позволяют проводить A/B-тесты.
Google Analytics — самый популярный сервис для аналитики, с его помощью можно создавать A/B-тесты на сайте и управлять ими. Для каждого теста можно настроить ключевые конверсии, чтобы потом наглядно их отслеживать.
Сервис не умеет проводить подобные тесты в мобильных приложениях — зато функционал A/B-тестирования бесплатный.

Результаты A/B-тестирования в Google Analytics
Firebase — сервис нацелен на продуктовые решения: мобильные или веб-приложения. Как и в Google Analytics, для каждого варианта можно настроить ключевые метрики и аудиторию, на которую будет распространяться тест.
Сервис работает с мобильными приложениями, но для информационных сайтов вряд ли подойдет. Функционал A/B-тестирования тоже бесплатный.

Результаты тестирования в Firebase Analytics
Amplitude Experiments — удобный и многофункциональный сервис, который работает в связке с Amplitude Analytics. Больше ориентирован на продуктовую разработку — если у вас информационный сайт или портал, сервис может не подойти. Из минусов: платный.

Результаты тестирования в Amplitude Experiments
Если не уверены, какой инструмент лучше использовать, или еще не работали в сфере аналитики, то в Skypro есть обучение на аналитика данных.

А/B тестирование и анализ данных в Python // Урок 6 от Skypro
Что нужно тестировать
Часто в A/B-тестировании нужно проверять, как изменение того или иного элемента повлияет на целевые действия аудитории. Например, как добавление кнопки со справочной информацией при авторизации в приложении может повысить конверсию.
Не стоит им злоупотреблять. Если проводить подобные тесты при каждом изменении на сайте или в приложении, можно сильно замедлить развитие продукта. Сразу выкатывайте новое решение, если уверены, что оно будет полезно аудитории (например, клиенты уже несколько месяцев просят добавить новый функционал) и знаете, что оно не усложнит использование продукта. Если что-то пойдет не так — всегда можно исправить или откатить назад.
Как провести A/B-тестирование
Любое проведение A/B-тестов стоит начинать с построения гипотезы. Гипотеза — ваша идея о том, как можно улучшить сайт или приложение. Если она слишком большая, попробуйте разбить ее на более мелкие.
После того как определились с гипотезой, подключите метрики, которые помогут отслеживать целевые показатели. Например, если цель гипотезы — увеличить количество переходов на форму регистрации, добавьте отслеживание переходов на эту форму.
Используйте внешние сервисы — например те, что мы рассмотрели выше, чтобы создать новый A/B-тест. Укажите параметры аудитории, которая должна попасть под него.
Обычно при создании A/B-теста указывают базовое состояние: когда у пользователя ничего не меняется и остается как есть. И дальше вы добавляете сколько угодно вариантов. В классическом A/B-тесте есть только два варианта: базовый и с измененным состоянием. Например, «Базовый» и «Красная кнопка регистрации». Если проводите MVT-тест, можете добавить и другие — например «Синяя кнопка», «Желтая кнопка» и так далее.
Для каждого варианта, кроме базового, можно настроить свои параметры аудитории. Например, указать, что нужно поменять цвет кнопки регистрации не более чем у 10% пользователей, которые:
- еще не зарегистрированы;
- проживают на территории США;
- подходят под любые другие критерии.
После того как запустили тестирование, нужно подождать необходимых результатов. Время проведения теста зависит от объема аудитории. Если у вас мало пользователей, то, чтобы выборка была репрезентативной, потребуется больше времени для сбора достаточного объема данных.
Как только собрали данные — осталось посмотреть на показатели метрик, которые вы добавили раньше в разрезе каждого варианта. Если видите, что выше показатели у варианта с изменениями, — можно считать теорию подтвержденной.
Источник: sky.pro
