Что означает A/B эксперимент плюс зачем оно необходимо
сплит эксперимент являет собой метод проверки нескольких а также нескольких версий страницы, дизайна, копирайта, CTA-элемента, поля ввода, письма, маркетингового сообщения либо другого онлайн блока. Его цель заключается в том, для того чтобы выяснить, какой версия результативнее функционирует при фактической аудитории. Без опоры на предположений и оценочных мнений используется эксперимент в рамках реальной посетителей, при которой контрольная доля получает версию A, а вторая — вариант B.
Подобный подход дает возможность выбирать выводы по основе информации, вместо этого не личных предпочтений или случайных замечаний. В рамках обзорных источниках, в том числе 1win, часто отмечается, что А/Б проверка особенно полезно в тех случаях, где малые правки могут воздействовать на поведение посетителей: клики, создания аккаунтов, заполнение форм, длину просмотра, удержание, заказы, подписки а также другие нужные результаты. Метод позволяет понять, на самом деле ли правка повышает 1win показатель.
По какому принципу проводится сплит проверка
Принцип сплит тестирования достаточно несложен. Сначала выбирается элемент, что требуется проверить. Таким элементом может оказаться headline, цвет CTA-элемента, последовательность блоков, сообщение подсказки, логика анкеты, картинка, стоимость, формат оффера или место целевого шага. После этого формируются как минимум двух версии: первоначальный а также обновленный. Затем этим поток пользователей распределяется по ними по заранее заданным параметрам.
Первая группа посетителей продолжает видеть первоначальную вариацию, а вторая получает измененную. Инструмент собирает данные о поведении каждой части а также анализирует метрики. Если версия B показывает более сильный показатель на фоне достаточном массиве сведений, эту версию можно внедрять. В случае если прироста не наблюдается или новая версия работает менее эффективно, правка отклоняется. Как раз в данной логике а также состоит реальная ценность проверки: такой метод дает возможность проверять предположения до полного 1вин внедрения.
Почему используется сплит тестирование
A/B эксперимент необходимо для сокращения сомнений. Внутри веб сервисах в том числе незначительная деталь имеет шанс воздействовать по части восприятие дизайна. Один заголовок способен быть доступнее альтернативного, краткая заявка может заполняться чаще объемной, а более видимая кнопка действия имеет шанс повысить количество переходов. Без эксперимента подобные результаты обычно остаются предположениями.
Метод позволяет развивать платформу поэтапно. Без необходимости масштабной реконструкции полного сайта либо приложения допустимо оценивать отдельные объекты а также измерять практический эффект. Такой подход уменьшает угрозу неудачных изменений, сокращает расход затраты и дает возможность формировать знания касательно поведении посетителей. Через накоплением тестов команда 1 win получает не просто комплект оценок, но систему проверенных решений.
Какие блоки получается тестировать
Тестировать допустимо почти каждый блок, что воздействует на действия аудитории. Как правило всего оценивают названия, вторичные заголовки, обращения для переходу, формулировки элементов действия, формы оформления аккаунта, позицию секций, изображения, карточки продуктов, порядок этапов, сортировки, навигацию, баннеры, подсказки, email-сообщения а также маркетинговые креативы. Важно, дабы указанный блок оказывался соотнесен с определенной конкретной целью.
Если ориентир проявляется в повышении отправленных обращений, логично сравнивать заявку, сообщение около формы, количество элементов ввода и выразительность кнопки. Когда важно повысить длину просмотра, стоит тестировать переходы, блоки рекомендаций, связанные переходы плюс структуру раздела. Если прямее зависимость 1win в паре правкой а также задачей, тем полезнее итог проверки.
Предположение как основа проверки
Всякий качественный А/Б эксперимент стартует от гипотезы. Гипотеза формулирует, какое изменение предлагается, почему это изменение может повлиять в отношении результат а также какой показатель может измениться. В частности, допустимо предположить, будто упрощение анкеты оформления аккаунта уменьшит объем отказов, поскольку что именно человеку потребуется меньший объем времени с целью окончания действия.
Хорошая гипотеза не следует быть очень общей. Идея типа «изменить интерфейс удобнее» не помогает позволяет оценить показатель. Намного более полезный формат: «при условии что поменять растянутый формулировку элемента действия с помощью краткий плюс точный, количество кликов вырастет, поскольку что именно шаг станет понятнее». Подобная формулировка непосредственно 1вин задает объект проверки, основание плюс критерий.
Базовая и тестовая аудитории
На уровне А/Б проверке базовая группа видит старый версию, и экспериментальная — обновленный. Подобное деление важно с целью честного анализа. В случае если без контроля заменить версию и сравнить результаты до и вслед за, эффект может стать неточным вследствие сезонных факторов, рекламной нагрузки, перестройки источников трафика, событий, технических сбоев или иных сторонних факторов.
Одновременный показ разных вариантов сокращает роль внешних факторов. Две аудитории находятся в близкой среде: единый плюс же же отрезок, схожие же источники посещений, похожие девайсы плюс единый фон. Поэтому отличие по показателях с большей 1 win значительной степенью вероятности соотносится именно с конкретным изменением, но не столько с внешними обстоятельствами.
Какие критерии используются внутри сплит проверках
Показатель — представляет собой число, согласно которому измеряется результат эксперимента. Подбор показателя строится на основе цели проверки. В случае лендинга с заявкой важны отправки форм, в случае онлайн-магазина — переносы к покупку а также транзакции, в случае медиа — длина просмотра плюс длительность просмотра, для сервиса — создания аккаунтов, запуски, возвращаемость плюс дальнейшие 1win события.
Важно разграничивать основную а также вторичные показатели. Ключевая демонстрирует, для какой цели проводится тест. Вспомогательные дают возможность понять вторичные последствия. В частности, обновление CTA способно увеличить нажатия, при этом уменьшить результативность дальнейших событий. Следовательно разумно анализировать не только только на начальный этап, а также еще в сторону дальнейшее действие: окончание заявки, возвращения, уходы, сбои плюс итоговую значимость результата.
Расчетная достоверность
Расчетная значимость показывает, как вероятно, будто полученная расхождение среди вариантами не оказывается статистическим шумом. В случае если первый формат незначительно опережает другой вслед за нескольких десятков единиц сессий, подобный итог пока не означает показывает победу. На фоне малом объеме сведений итог имеет шанс оперативно измениться, после того как 1вин выборка будет больше.
Ради надежного вывода нужно нужное число наблюдений. Если ниже предполагаемая отличие в паре решениями, тем значительнее сведений потребуется получить. Когда правка должна улучшить показатель лишь примерно на несколько процентных пунктов, тесту нужно будет значительно больше срока плюс трафика. Статистическая достоверность дает возможность не делать принимать поспешные решения по основе временных скачков.
Объем аудитории и срок проверки
Размер аудитории влияет на достоверность итога. В случае если проверка получает слишком ограниченный объем посетителей, выводы имеют шанс быть ненадежными. Например, несколько дополнительных нажатий в первой выборке способны казаться словно прирост, при этом на значительном объеме станут обычной погрешностью. Следовательно до момента запуском полезно понимать, какой объем людей 1 win или действий нужно с целью проверки идеи.
Срок проверки дополнительно получает значение. Слишком сжатый период проверки способен не отражать расхождения между обычными а также праздничными днями, рабочей а также вечерней активностью, несколькими каналами пользователей. Как правило проверка должен включать завершенный круг активности посетителей. Вместе с таком подходе очень затянутый тест также неоптимален, в случае если внешние факторы могут существенно поменяться.
Зачем нельзя корректировать проверку в течение время проведения
Одна из в числе типичных ошибок — добавлять корректировки внутрь тест после запуска. В случае если в середине проверки изменить текст, сегмент, оформление, параметры вывода а также цель, данные перемешаются. Тогда будет трудно понять, какой фактор конкретно повлияло по части эффект. Эксперимент потеряет корректность, а выводы станут сомнительными 1win.
Перед начала нужно зафиксировать гипотезу, варианты, метрики, деление выборки плюс параметры завершения. С момента начала правильнее не стоит корректировать тест при отсутствии критичной необходимости. В случае если найдена ошибка на уровне запуске либо служебный дефект, разумнее прервать проверку, устранить сбой и создать повторный эксперимент, вместо того чтобы пытаться интерпретировать некорректные наблюдения.
Одновременное тестирование многих правок
В отдельных случаях формируется желание проверить одновременно ряд правок: обновленный headline, альтернативную CTA, упрощенную анкету и перестроенный последовательность блоков. Такой подход может дать общий показатель, при этом не объяснит, какой именно конкретно блок воздействовал в отношении метрику. Если измененная страница выиграла, останется непонятно, какой элемент сработало эффективнее всего.
Для точной проверки как правило изменяют один существенный элемент в 1вин один этап. В случае если нужно сопоставить разные комбинаций, используется мультивариантное тестирование. Этот формат многоуровневее, предполагает большего числа пользователей плюс корректной интерпретации. В случае большинства целей сплит тест на основе одной точной проверкой обеспечивает намного более чистый а также практичный эффект.
Примеры сплит проверки на уровне интерфейсе
На уровне UI-средах A/B тестирование часто задействуется с целью оптимизации понятности шагов. Например, получается проверить две версии заявки: объемную с множеством полей а также краткую с минимальным сокращенным числом полей. Когда краткая анкета увеличивает количество завершенных регистраций без одновременного ухудшения качества форм, этот вариант получается считать гораздо более эффективной.
Другой сценарий — тестирование текста CTA. Общая фраза имеет шанс стать не такой ясной, чем точное название результата. Дополнительно тестируют расположение элементов действия, очередность смысловых разделов, оформление 1 win подсказок, присутствие шкалы выполнения, метод отображения предупреждений и количество действий на протяжении процессе. Любой этот объект воздействует на то, насколько удобно окончить нужное шаг.
А/Б проверка на уровне материалах
В содержании тестирование дает возможность выяснить, какого типа названия, описания, схемы а также варианты сильнее сохраняют вовлечение. Можно проверять разные первые абзацы, длину контента, логику доводов, добавление перечней, подачу элементов, описание выгод либо манеру объяснения трудной темы. Вместе с таком подходе существенно анализировать не только только клики, но также последующее взаимодействие.
Название способен повысить объем переходов, но в случае если материал не совпадает интересам, увеличится доля отказов. Из-за этого редакционные эксперименты обязаны учитывать ценность контакта: время изучения, скролл, клики в пределах сайта, повторные визиты а также выполнение нужных действий. Сильный итог — является не только просто получение клика, но соответствие интереса плюс материала.
сплит проверка на уровне email-рассылках
В email-кампаниях нередко проверяют заголовки рассылок, название автора, стартовые фразы, время рассылки, длину сообщения, позицию кнопок плюс тексты офферов. Один сегмент подписчиков открывает контрольную вариацию сообщения, другая часть — другую. Затем этого анализируются просмотры, переходы, отказы от подписки, жалобы плюс следующие реакции в пределах платформе.
Необходимо не нужно сводить анализ показателем открытий. Заголовок письма может стать яркой плюс привлекать интерес, при этом если она не отвечает содержанию, клики а также лояльность имеют шанс ослабнуть. Следовательно корректный почтовый эксперимент анализирует цельную цепочку: просмотр, переход, поведение после перехода и ответ аудитории на рассылку.