Мобильный A/B-тестинг и A/B-тестинг для сайта: есть большая разница между ними. В этой статье объясним, чем они отличаются, как работает A/B тестирование на мобильных устройствах и как его использовать. Хотите, чтобы ваше A/B тестирование было успешным? Обращайтесь к нам, мы поможем сделать это эффективно.

Глава 1: Что такое мобильный A/B-тестинг?

A/B-тестинг — это эксперимент, в котором одновременно сравниваются две разные версии одного и того же сайта или мобильного приложения, и одновременно замеряются ключевые показатели. Мобильное A/B тестирование — это процесс проведения эксперимента непосредственно в мобильном приложении. Только когда тест достигает статистических значений, специалисты могут делать выводы и внедрять те или иные изменения.

Обычно, в A/B тестах меняют только одну переменную за раз, чтобы соотнести изменение с результатом. A/B тест, в котором меняют несколько переменных одновременно, называется многовариантным тестом или A/B/N. Эти тесты полезны для измерения взаимодействия между различными переменными в интерфейсе, но они должны быть тщательно выверены, чтобы найти значимые корреляции.

Например, в e-commerce-приложении команда может захотеть проверить местоположение кнопки «Добавить в корзину», чтобы узнать, увеличит ли она коэффициент конверсии — в результате будет проведена оптимизация и приложение увеличит доход.

Мобильные приложения всегда находятся в процессе развития и требуют частого тестирования и оптимизации. Отнюдь, разработчик приложения не единственный, кто проводит A/B тесты: мобильные маркетологи не меньше в этом заинтересованы.

Мобильный A/B-тестинг не ограничивается только пользовательским интерфейсом в приложении, в тестирование включают внешние элементы — push-уведомления: тестирование — это не только сравнение кнопок, цветов и слов, но и сопоставление иных элементов, связанных с оптимизацией пользовательского пути.

Глава 2: Веб-сайты и мобильные приложения

Оптимизация веб-сайта и мобильного приложения — два разных процесса, но конечная цель одинакова: повышение удобства для пользователя, для обеспечения лучшей рентабельность инвестиций. И на веб-сайте, и в мобильном приложении при оптимизации тестируются и измеряются как UI, так и UX.

Основное различие между ними легко увидеть при тестировании. На сайте оптимизируется все, что касается воронки: пользователь находит сайт через органический или платный поиск, далее просматривает несколько страниц, совершает или не совершает покупку и уходит. И при оптимизации сайта особое внимание уделяется показателю отказов, длительность сеанса и завершенные целевые действия.

Мобильные приложения, в свою очередь, загружаются через App Store или Google Play. Смотивировать пользователя установить приложение – это территория ASO или App Store Optimization.

В отличие от показателя отказов на сайте, в мобильных приложениях следует уделять внимание удержанию внимания и вовлечения пользователя, здесь важен опыт взаимодействия UХ и путь пользователя.

Также важным отличием мобильного приложения от сайта является то, что, приложения постоянно оцениваются пользователями: есть рейтинги, Топы, категории и тд. И повышение удержания пользователя – это непрерывный процесс тестирования и оптимизации.

Глава 3: Почему мобильный A/B-тестинг имеет решающее значение для мобильных приложений

Мы проанализировали десятки приложений и обнаружили, что первый день пользования приложением удерживаются в нем 19% пользователей. Через месяц пользования в приложении остаются только 6%. И на 90-е сутки, этот показатель опускается до 1,6%. Именно поэтому A/B тестирование приложения имеет решающее значение.

Приложения с высокими рейтингами повышаются в результатах поиска, и, само собой, пользователи с большей вероятностью загружают приложение с высокими рейтингами.

По данным Marketing Land, 96% пользователей заявили, что будут устанавливать приложение с четырьмя звездами, по сравнению с приложением с более низким рейтингом. Каждая дополнительная звезда, которую приложения получают в App Store, увеличивает вероятность загрузки:

«Переход от 2-звездочного к 3-звездочному рейтингу эффективно увеличивает конверсию в магазине приложений на 340%… прыжки с 3-х до 4-х звезд увеличивают конверсию еще на дополнительные 89%».

Дело в том, что, когда приложение имеет рейтинг с четырьмя или пятью звездами, с первого взгляда становится очевидным, что пользователь будет удовлетворен. Они начинают доверять приложению до его установки.

Глава 4: Как запустить свой первый мобильный A/B-тестинг приложения?

Процесс тестирования можно разбить на четыре этапа:

Шаг 1: Сформулируйте гипотезу

Каждый эксперимент должен начинаться с гипотезы. Что вы пытаетесь определить из этого эксперимента?

Например, можно проверить эффективность удержания новых пользователей. Гипотеза будет заключаться в том, что пользователям легче понять упрощенные визуальные элементы в тьюториале и это должно привести к увеличению удержания пользователей.

Шаг 2: Выберите свою аудиторию

При A/B тестировании не нужно настраивать таргетинг на всех пользователей. Важно выбрать сегмент, и на его основе выбрать именно то, что хотите проверить: например, количество/качество текста/изображений.

Шаг 3. Проведение эксперимента и сбор данных

Шаг 4. Анализ результатов

После того, как тест запущен и собраны результаты достаточного количество проб, платформа рассчитает, есть ли разница между двумя измеренными вариантами не из-за случайной погрешности. Общим порогом для определения статистической значимости является p-значение 0,05, что означает, что существует вероятность 5-ти ошибок (что вполне допустимо).

Если контрольная группа не достигла поставленных вами целей, но вариант сработал, то ваша гипотеза была правильной. Если ваша гипотеза не сработала, необходимо повторно запустить тест с новыми вариантами и другой гипотезой.

Если тест потерпел неудачу, это еще не провал — неудачные A/B тесты могут быть очень полезны. Они могут указывать на то, что в вашем приложении что-то не работает и эта информация может использоваться для дальнейшей оптимизации. Если в настоящий момент запущен процесс, ведущий к притоку пользователей, визуальные эффекты могут быть протестированы для дальнейшей оптимизации, что создает среду, побуждающую больше пользователей возвращаться и повторно взаимодействовать с приложением последующие дни.

В конце концов, речь идет о UX. Для оптимизации часто требуется тестировать различные настройки.

Глава 5: Push-уведомления и страница конверсии

Push-уведомления

Тестируйте Push-уведомления в приложении, чтобы гарантировано получать больше отклика. В A/B тестах желательно тестировать:

  • Тон
  • Количество символов
  • Эмодзи и тд

Для справки скажем, что наличие push-уведомлений как таковых увеличивает удержание пользователей на 20% и более.  А A/B тест поможет подобрать лучшие сообщения и увеличить ROI.

Страницы конверсии

Как и любая другая страница конверсии, веб-или мобильная, оптимизация всегда необходима: A/B тест размера и цвета кнопок, текстов для призыва к действию на странице очень эффективен.

Глава 6: Как анализировать проведенный мобильный A/B-тестинг

Завершение A/B теста — большой, но не последний шаг. Анализ результатов экспериментов и поиск эффективных решений может занимать много времени и усилий.

Первым шагом является наиболее очевидный: поиск статистически значимых изменений. В любом заданном A/B тесте рекомендуется проверять влияние вносимых изменений на несколько различных показателей. Иногда легко обнаружить, какие показатели отличаются друг от друга в следствии эксперимента. Вы можете обнаружить, что новая кнопка увеличила рост кликов или что push-уведомление с персонализацией привело к большей открываемости, чем ранее.

Однако, порой бывает, что истинное влияние A/B теста сложнее распознать. Не расстраивайтесь только потому, что ваши итоговые результаты теста являются поверхностными или отрицательными. Отфильтруйте результаты по пользовательскому сегменту — возможно общий поверхностный результат хорошо зарекомендовал себя с определенной группой пользователей, в то время как он плохо согласован с другой группой.

Глава 7: A/A

Для получения наиболее достоверных результатов A/B тестирования рекомендуем сначала выполнить тест A/A: это необходимо для калибровки инструментов. Тест A/A похож на тест A/B, только вместо измененного варианта используется текущий. Поскольку нет разницы между двумя версиями приложения, результаты должны быть одинаковыми. Но помните, что A/A не является мгновенным процессом.

Глава 8: HOUSE OF APPS Platform

Если вы сомневаетесь в своих силах, то можете проконсультироваться с нами. Сегодня мы являемся экспертами в области A/B тестирования push-уведомлений и in-app-сообщений: это все доступно в HOUSE OF APPS Platform.

Начните своё A/B-тестирование – запросите демо-доступ сейчас!