SlideShare une entreprise Scribd logo
1  sur  40
Ошибки и грабли в организации
A/B и MV тестов
Обзор доступных инструментов тестирования
Особенности их практического использования
Что учитывать при самостоятельной организации
тестирования
A/B тестирование и грабли
Что такое A/B тестирование
Основные вопросы которые
возникают при тестировании?
Основные вопросы которые
возникают при тестировании?
1. Для чего и когда использовать
тестирование
2. При каких условиях тестирование (не)
проходит успешно
3. Какие элементы интерфейсов
тестировать
4. Чем тестировать
5. Как интерпретировать результаты
6. Где возникают ошибки
Когда тестирование помогает?
Если тестирование - это процесс:
1. Установили цели (бизнес-цели > цели на
сайте > KPI > целевые метрики)
2. Произвели начальные измерения и
выделили приоритеты в тестировании
3. Протестировали
4. Оценили результаты и внедрили
5. Повторили опять (на других страницах)
Необходимые условия
● Статистическая достоверность
результатов
● Четкие, явные, количественно измеримые
цели
● Достаточные: посещаемость тестируемых
страниц, количество конверсионных
действий и однородность аудитории
● Проверенные и отлаженные инструменты
тестирования
● Ну, и отдельно поговорим об элементах
которые тестируются
Продолжительность эксперимента
Зависит от трафика, конверсии, различий в
тестируемых вариантах.
Считается на калькуляторах
Лучше больше чем меньше, многие сервисы
определяют сами
Желательно минимум 100 конверсионных
действий на вариант
Обычно 2-3 недели
A/B тестирование и грабли
Как на самом деле выбрать
страницу для тестирования?
Смотрим статистику и выбираем:
● Самые посещаемые страницы
● Самые посещаемые посадочные
страницы
● Страницы с дорогими визитами
● Страницы с отказами
● Страницы в воронке продаж (если она
настроена) с отказами
Таблица для приоритизации
тестирования
Страница Потенциал Важность Легкость
изменения
Среднее
значение
Насколько
можно
увеличить
конверсию, от
1 до 10
Сколько
посетителей
приходит на
эту страницу и
какова
стоимость этих
посетителей,
от 1 до 10
Насколько легко
тестировать эту
страницу
(технически и с
точки зрения
пользовательского
взаимодействия),
от 1 до 10
A/B тестирование и грабли
A/B тестирование и грабли
Как на самом деле выбрать
элементы для тестирования?
Все просто:
1. Выдвините гипотезу, которая объясняет
поведение пользователей
2. Предложите решение, за счет изменений
элементов (тестируемые элементы
должны напрямую влиять на конверсию)
3. Не тестируйте сразу много элементов (1-2
вполне достаточно)
4. Не берите для тестирования
незначительные изменения
Кратко - идеи для тестирования
● Добавьте слово «Бесплатно»
● Создайте видео с объяснением
● Приклейте кнопку регистрации к верхней части
страницы
● Сократите форму заявки
● Покажите товар «лицом»
● Демо-версия vs Денежный возврат
● Длительность бесплатной версии
● Предложите бонусы, ограниченные по времени
● Добавьте денежную ценность бесплатным
предложениям
● Поменяйте цвета кнопок
Хотите ещё больше кейсов?
● http://lpgenerator.ru/blog/2013/04/05/24-
gipotezy-split-testirovanij/
● http://whichtestwon.com/
● http://www.abtests.com/
● http://visualwebsiteoptimizer.com/split-
testing-blog/
Попробуем угадать какой вариант
работает лучше!
Практическая работа
30 вариантов для 15 страниц
Инструменты тестирования
1. Эксперименты в Google Analytics
2. Яндекс.Метрика
3. Visual Website Optimizer
4. Optimizely
5. ABtest.ru
и еще много других на http://whichMVT.com
Google Analytics
Бесплатно и обычно уже используется на сайте
Можно проводить только A/B тесты на разных URI
Программисты нужны, но не сильно (создать
дополнительный вариант страницы, установить
полученный код)
Расчёт происходит только по одной цели, но для
анализа результатов можно потом применять
расширенные сегменты и другие интересные "фичи" GA
Нет сегментации по посетителям и % трафика на
каждую из групп
GA используют "жадный" алгоритм ("многорукий
бандит") https://support.google.
com/analytics/answer/2844870?hl=ru
A/B тестирование и грабли
A/B тестирование и грабли
A/B тестирование и грабли
A/B тестирование и грабли
A/B тестирование и грабли
Яндекс Метрика
Параметры визитов http://help.yandex.
ru/metrika/content/visit-params.xml
Бесплатно и скорее всего уже стоит у многих на сайте
Только A/B тестирование (но на произвольных
страницах)
Необходимо привлекать программистов
(распределение пользователей по группам - алгоритм
тестирования, установка cookie, установка кодов,
возможно обсчёт результатов)
Для обработки результатов необходимо использовать
статистические калькуляторы
A/B тестирование и грабли
Статистические калькуляторы
● http://www.artmetod.ru/a-b-testing/230
● http://www.measuringusability.com/calc.php
● http://visualwebsiteoptimizer.com/ab-split-
test-duration/
● http://visualwebsiteoptimizer.
com/downloads/ab_testing_significance_cal
culator.xls
Visual Website Optimizer
Платный
A/B тестирование
Мультивариантное тестирование
Персонализация сайта на основе поведения
посетителя и геотаргетинга
Тепловая карта кликов (для каждого из вариантов
отдельно)
Юзабилити тестирование и тестирование цен
Визуальный редактор
Интеграция с различными сервисами (Аналитика:
Google Analytics, Adobe SiteCatalyst, Clicky, CMS:
WordPress, Joomla, Drupal)
Optimizely
Платный инструмент
Умеет проводить A/B и мультивариантные
тестирования
Так же, как и в VWO, есть визуальный
редактор
Умеет сегментировать участников
экспериментов
Тоже умеет распределять трафик между
вариантами страниц
Скрипты - расположены на cdn сервиса
ABtest.ru
С недавнего времени бесплатный !
Русскоязычный
Только A/B тесты
Визуальный редактор
Скрипты - расположены на cdn сервиса
Есть простая сегментация пользователей
Блок для "продвинутых"
● Большинство (70-80%) ваших тестов провалятся
● Делайте A/A тесты (если инструмент которым вы
пользуетесь нов для вас, потом можно отказаться от
этого или сразу проводить A/B/A тесты)
● Макро- конверсии лучше, чем микро-. Смотрите
конечную конверсию — например продажу
● Высокая конверсия не равна большему заработку.
● Понедельник — это не вторник. Тестируйте
неделями
Продолжение
● Не бойтесь показателя отказов
● Разделяйте тесты. Для мобильных отдельно
● Уродцы тоже могут зарабатывать.
Это сайты сосредоточившиеся на функционале
http://blog.kissmetrics.com/ugly-websites/
● Уменьшайте сопротивление. Не заставляйте
пользователей делать вещи, которые им делать не
нужно.
● Не думайте, что надо измерять только один
коэффициент, влияющий на конверсию - смотрите
на картинку в целом
Локальный максимум и лучший
дизайн
Существует ли негативное
влияние A/B тестов на SEO?
1. нет, не существует, пруф от Google
2. что бы снизить это негативное влияние )))
a. используем rel="canonical" на
страницах вариаций
b. если пользователя надо
перенаправить на страницу вариации
используем 302 редирект
Перспективы развития
тестирования
1. Автоматизация, автоматизация и автом...
2. Персонализация
какие знания о пользователях есть в
минимальном варианте:
Geo IP
День недели
Время суток
Язык клиента
Браузер
Операционная система
Тип клиента (например, оптовый или розничный, новый или постоянный)
Чем можно пользоваться для
мегакрутой персонализации
1. Facebook или ВКонтакте. Через API или
просто составляя рекламные кампании и
пересылая пользователей через
промежуточные страницы
2. Самостоятельный сбор информации о
пользователях
3. Внешние системы. Система IonIntercative
персонализирует посетителя сайта по 33
параметрам
A/B тестирование и грабли
Доклад про персонализацию под
пользователя
http://events.yandex.ru/events/yac/m/talks/823/
A/B тестирование и грабли
Спасибо за внимание!
Вопросы?
Букей Максим
Юзабилити эксперт на 66.ru
Skype: maxgabba
Twitter: maxgabba
E-mail: maxgabba@gmail.com

Contenu connexe

Tendances

Сергей Слесарев
Сергей СлесаревСергей Слесарев
Сергей СлесаревSQALab
 
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...Andrey Ladutko
 
Quality Assurance vs Quality Control - так в чем же заключается работа специа...
Quality Assurance vs Quality Control - так в чем же заключается работа специа...Quality Assurance vs Quality Control - так в чем же заключается работа специа...
Quality Assurance vs Quality Control - так в чем же заключается работа специа...COMAQA.BY
 
Процесс тестирования. Измерение и оценка
Процесс тестирования. Измерение и оценкаПроцесс тестирования. Измерение и оценка
Процесс тестирования. Измерение и оценкаSQALab
 
Метрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахМетрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахSQALab
 
Викторина для тестировщиков
Викторина для тестировщиковВикторина для тестировщиков
Викторина для тестировщиковUladzimir Kryvenka
 
Давид Майборода, Тестирование Android-приложений: разбор инструментария
Давид Майборода, Тестирование Android-приложений: разбор инструментарияДавид Майборода, Тестирование Android-приложений: разбор инструментария
Давид Майборода, Тестирование Android-приложений: разбор инструментарияYandex
 
QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?
QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?
QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?QAFest
 
Promobug final-etarget 2014
Promobug final-etarget 2014Promobug final-etarget 2014
Promobug final-etarget 2014promobug
 
Фокус тест
Фокус тестФокус тест
Фокус тестSQALab
 
Test design techniques basics
Test design techniques basicsTest design techniques basics
Test design techniques basicsArtem Bykovets
 
SQA Days 11 SAtroschenkov SBerezhnoy
SQA Days 11 SAtroschenkov SBerezhnoySQA Days 11 SAtroschenkov SBerezhnoy
SQA Days 11 SAtroschenkov SBerezhnoySergey Atroschenkov
 
QA Fest 2017. Иван Пашко. Антипаттерны и запахи в автоматизации тестирования
QA Fest 2017. Иван Пашко. Антипаттерны и запахи в автоматизации тестированияQA Fest 2017. Иван Пашко. Антипаттерны и запахи в автоматизации тестирования
QA Fest 2017. Иван Пашко. Антипаттерны и запахи в автоматизации тестированияQAFest
 
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...SQALab
 
Как мы добавляли UX-исследования в мобильные приложения Aviasales и что из эт...
Как мы добавляли UX-исследования в мобильные приложения Aviasales и что из эт...Как мы добавляли UX-исследования в мобильные приложения Aviasales и что из эт...
Как мы добавляли UX-исследования в мобильные приложения Aviasales и что из эт...SQALab
 
Continious integration-Automated Testing-Solid-Agile
Continious integration-Automated Testing-Solid-AgileContinious integration-Automated Testing-Solid-Agile
Continious integration-Automated Testing-Solid-AgileKairat Yussupov
 
Тест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писатьТест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писатьSQALab
 
Взгляд на QA со стороны
Взгляд на QA со стороныВзгляд на QA со стороны
Взгляд на QA со стороныAlexander Kalouguine
 
андрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаандрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаAlexei Lupan
 

Tendances (19)

Сергей Слесарев
Сергей СлесаревСергей Слесарев
Сергей Слесарев
 
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
 
Quality Assurance vs Quality Control - так в чем же заключается работа специа...
Quality Assurance vs Quality Control - так в чем же заключается работа специа...Quality Assurance vs Quality Control - так в чем же заключается работа специа...
Quality Assurance vs Quality Control - так в чем же заключается работа специа...
 
Процесс тестирования. Измерение и оценка
Процесс тестирования. Измерение и оценкаПроцесс тестирования. Измерение и оценка
Процесс тестирования. Измерение и оценка
 
Метрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахМетрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцах
 
Викторина для тестировщиков
Викторина для тестировщиковВикторина для тестировщиков
Викторина для тестировщиков
 
Давид Майборода, Тестирование Android-приложений: разбор инструментария
Давид Майборода, Тестирование Android-приложений: разбор инструментарияДавид Майборода, Тестирование Android-приложений: разбор инструментария
Давид Майборода, Тестирование Android-приложений: разбор инструментария
 
QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?
QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?
QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?
 
Promobug final-etarget 2014
Promobug final-etarget 2014Promobug final-etarget 2014
Promobug final-etarget 2014
 
Фокус тест
Фокус тестФокус тест
Фокус тест
 
Test design techniques basics
Test design techniques basicsTest design techniques basics
Test design techniques basics
 
SQA Days 11 SAtroschenkov SBerezhnoy
SQA Days 11 SAtroschenkov SBerezhnoySQA Days 11 SAtroschenkov SBerezhnoy
SQA Days 11 SAtroschenkov SBerezhnoy
 
QA Fest 2017. Иван Пашко. Антипаттерны и запахи в автоматизации тестирования
QA Fest 2017. Иван Пашко. Антипаттерны и запахи в автоматизации тестированияQA Fest 2017. Иван Пашко. Антипаттерны и запахи в автоматизации тестирования
QA Fest 2017. Иван Пашко. Антипаттерны и запахи в автоматизации тестирования
 
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
 
Как мы добавляли UX-исследования в мобильные приложения Aviasales и что из эт...
Как мы добавляли UX-исследования в мобильные приложения Aviasales и что из эт...Как мы добавляли UX-исследования в мобильные приложения Aviasales и что из эт...
Как мы добавляли UX-исследования в мобильные приложения Aviasales и что из эт...
 
Continious integration-Automated Testing-Solid-Agile
Continious integration-Automated Testing-Solid-AgileContinious integration-Automated Testing-Solid-Agile
Continious integration-Automated Testing-Solid-Agile
 
Тест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писатьТест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писать
 
Взгляд на QA со стороны
Взгляд на QA со стороныВзгляд на QA со стороны
Взгляд на QA со стороны
 
андрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаандрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчика
 

En vedette

Интернет для переводчика. Олеся Зайцева
Интернет для переводчика. Олеся ЗайцеваИнтернет для переводчика. Олеся Зайцева
Интернет для переводчика. Олеся ЗайцеваОлеся Зайцева
 
Роман Васильев Вебинар по партизанскому маркетингу
Роман Васильев Вебинар по партизанскому маркетингуРоман Васильев Вебинар по партизанскому маркетингу
Роман Васильев Вебинар по партизанскому маркетингуRoman Vasilyev
 
презентация веб аналитика
презентация веб аналитикапрезентация веб аналитика
презентация веб аналитикаakisarev
 
Презентация "Веб-аналитика как услуга".
Презентация "Веб-аналитика как услуга".Презентация "Веб-аналитика как услуга".
Презентация "Веб-аналитика как услуга".Дмитрий Колотов
 
Customer Journey: секреты корпорации
Customer Journey: секреты корпорацииCustomer Journey: секреты корпорации
Customer Journey: секреты корпорацииENGAGE ME
 
Управление интернет-маркетингом в режиме реального времени
Управление интернет-маркетингом в режиме реального времениУправление интернет-маркетингом в режиме реального времени
Управление интернет-маркетингом в режиме реального времениUAMASTER Digital Agency
 
Как системно выстраивать интернет-маркетинг для B2B
Как системно выстраивать интернет-маркетинг для B2BКак системно выстраивать интернет-маркетинг для B2B
Как системно выстраивать интернет-маркетинг для B2BКомплето
 

En vedette (7)

Интернет для переводчика. Олеся Зайцева
Интернет для переводчика. Олеся ЗайцеваИнтернет для переводчика. Олеся Зайцева
Интернет для переводчика. Олеся Зайцева
 
Роман Васильев Вебинар по партизанскому маркетингу
Роман Васильев Вебинар по партизанскому маркетингуРоман Васильев Вебинар по партизанскому маркетингу
Роман Васильев Вебинар по партизанскому маркетингу
 
презентация веб аналитика
презентация веб аналитикапрезентация веб аналитика
презентация веб аналитика
 
Презентация "Веб-аналитика как услуга".
Презентация "Веб-аналитика как услуга".Презентация "Веб-аналитика как услуга".
Презентация "Веб-аналитика как услуга".
 
Customer Journey: секреты корпорации
Customer Journey: секреты корпорацииCustomer Journey: секреты корпорации
Customer Journey: секреты корпорации
 
Управление интернет-маркетингом в режиме реального времени
Управление интернет-маркетингом в режиме реального времениУправление интернет-маркетингом в режиме реального времени
Управление интернет-маркетингом в режиме реального времени
 
Как системно выстраивать интернет-маркетинг для B2B
Как системно выстраивать интернет-маркетинг для B2BКак системно выстраивать интернет-маркетинг для B2B
Как системно выстраивать интернет-маркетинг для B2B
 

Similaire à A/B тестирование и грабли

Landing Pages для разных видов бизнеса.
Landing Pages для разных видов бизнеса. Landing Pages для разных видов бизнеса.
Landing Pages для разных видов бизнеса. Adventum
 
Landing pages для разных видов бизнеса - Илья Чухляев (Adventum)
Landing pages для разных видов бизнеса - Илья Чухляев (Adventum)Landing pages для разных видов бизнеса - Илья Чухляев (Adventum)
Landing pages для разных видов бизнеса - Илья Чухляев (Adventum)Digital Guru Club
 
Что такое A/B тестирование? Как правильно проводить A/B тесты
Что такое A/B тестирование? Как правильно проводить A/B тестыЧто такое A/B тестирование? Как правильно проводить A/B тесты
Что такое A/B тестирование? Как правильно проводить A/B тестыAndrei Baklinau
 
Как улучшить удобство продукта минимальными затратами?
Как улучшить удобство продукта минимальными затратами?Как улучшить удобство продукта минимальными затратами?
Как улучшить удобство продукта минимальными затратами?Oleg Karapuzov
 
Тесты A/B лендинг-пейджей для начинающих
Тесты A/B лендинг-пейджей  для начинающих Тесты A/B лендинг-пейджей  для начинающих
Тесты A/B лендинг-пейджей для начинающих Landingi
 
A/B тестирование как способ увеличить количество лидов и не потерять потенциа...
A/B тестирование как способ увеличить количество лидов и не потерять потенциа...A/B тестирование как способ увеличить количество лидов и не потерять потенциа...
A/B тестирование как способ увеличить количество лидов и не потерять потенциа...Andrei Baklinau
 
Анатолий Сергеев "A/B тестирование как способ повышения конверсии. Тонкости и...
Анатолий Сергеев "A/B тестирование как способ повышения конверсии. Тонкости и...Анатолий Сергеев "A/B тестирование как способ повышения конверсии. Тонкости и...
Анатолий Сергеев "A/B тестирование как способ повышения конверсии. Тонкости и...ADLABS
 
Процессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
Процессы оптимизации конверсии: методики и инструменты. Владимир СахаровПроцессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
Процессы оптимизации конверсии: методики и инструменты. Владимир СахаровКлуб Интернет-Маркетологов
 
А/Б тестирование: Что? Как? Зачем? | Odessa Frontend Meetup #15
А/Б тестирование: Что? Как? Зачем? | Odessa Frontend Meetup #15А/Б тестирование: Что? Как? Зачем? | Odessa Frontend Meetup #15
А/Б тестирование: Что? Как? Зачем? | Odessa Frontend Meetup #15OdessaFrontend
 
QA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до я
QA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до яQA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до я
QA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до яQAFest
 
A/B тестирование с использованием Sitecore DMS
A/B тестирование с использованием Sitecore DMSA/B тестирование с использованием Sitecore DMS
A/B тестирование с использованием Sitecore DMSDmitri Zlobin
 
Website optimizer yakovlev
Website optimizer   yakovlevWebsite optimizer   yakovlev
Website optimizer yakovlevSEMonline .Ru
 
Can we have some more quality - Russian version
Can we have some more quality - Russian versionCan we have some more quality - Russian version
Can we have some more quality - Russian versionAlexander Pushkarev
 
Возможна ли жизнь без тестировщика?
Возможна ли жизнь без тестировщика?Возможна ли жизнь без тестировщика?
Возможна ли жизнь без тестировщика?Aleksey Derkach
 
автоматизация тестирования огурцом
автоматизация тестирования огурцомавтоматизация тестирования огурцом
автоматизация тестирования огурцомVadim Glebov
 
Юзабилити аудит и сплит тестирование
Юзабилити аудит и сплит тестированиеЮзабилити аудит и сплит тестирование
Юзабилити аудит и сплит тестированиеЕвгений Храмов
 
Mind map для «Архитектура А/Б тестирования: сделай сам»
Mind map для «Архитектура А/Б тестирования: сделай сам»Mind map для «Архитектура А/Б тестирования: сделай сам»
Mind map для «Архитектура А/Б тестирования: сделай сам»Sergey Xek
 

Similaire à A/B тестирование и грабли (20)

Landing Pages для разных видов бизнеса.
Landing Pages для разных видов бизнеса. Landing Pages для разных видов бизнеса.
Landing Pages для разных видов бизнеса.
 
Landing pages для разных видов бизнеса - Илья Чухляев (Adventum)
Landing pages для разных видов бизнеса - Илья Чухляев (Adventum)Landing pages для разных видов бизнеса - Илья Чухляев (Adventum)
Landing pages для разных видов бизнеса - Илья Чухляев (Adventum)
 
Основные правила проведения A/B тестирования. Вебинар WebPromoExperts #142
Основные правила проведения A/B тестирования. Вебинар WebPromoExperts #142 Основные правила проведения A/B тестирования. Вебинар WebPromoExperts #142
Основные правила проведения A/B тестирования. Вебинар WebPromoExperts #142
 
Что такое A/B тестирование? Как правильно проводить A/B тесты
Что такое A/B тестирование? Как правильно проводить A/B тестыЧто такое A/B тестирование? Как правильно проводить A/B тесты
Что такое A/B тестирование? Как правильно проводить A/B тесты
 
Как улучшить удобство продукта минимальными затратами?
Как улучшить удобство продукта минимальными затратами?Как улучшить удобство продукта минимальными затратами?
Как улучшить удобство продукта минимальными затратами?
 
Design Talks 2017
Design Talks 2017Design Talks 2017
Design Talks 2017
 
Тесты A/B лендинг-пейджей для начинающих
Тесты A/B лендинг-пейджей  для начинающих Тесты A/B лендинг-пейджей  для начинающих
Тесты A/B лендинг-пейджей для начинающих
 
Quality Assurance
Quality AssuranceQuality Assurance
Quality Assurance
 
A/B тестирование как способ увеличить количество лидов и не потерять потенциа...
A/B тестирование как способ увеличить количество лидов и не потерять потенциа...A/B тестирование как способ увеличить количество лидов и не потерять потенциа...
A/B тестирование как способ увеличить количество лидов и не потерять потенциа...
 
Анатолий Сергеев "A/B тестирование как способ повышения конверсии. Тонкости и...
Анатолий Сергеев "A/B тестирование как способ повышения конверсии. Тонкости и...Анатолий Сергеев "A/B тестирование как способ повышения конверсии. Тонкости и...
Анатолий Сергеев "A/B тестирование как способ повышения конверсии. Тонкости и...
 
Процессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
Процессы оптимизации конверсии: методики и инструменты. Владимир СахаровПроцессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
Процессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
 
А/Б тестирование: Что? Как? Зачем? | Odessa Frontend Meetup #15
А/Б тестирование: Что? Как? Зачем? | Odessa Frontend Meetup #15А/Б тестирование: Что? Как? Зачем? | Odessa Frontend Meetup #15
А/Б тестирование: Что? Как? Зачем? | Odessa Frontend Meetup #15
 
QA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до я
QA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до яQA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до я
QA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до я
 
A/B тестирование с использованием Sitecore DMS
A/B тестирование с использованием Sitecore DMSA/B тестирование с использованием Sitecore DMS
A/B тестирование с использованием Sitecore DMS
 
Website optimizer yakovlev
Website optimizer   yakovlevWebsite optimizer   yakovlev
Website optimizer yakovlev
 
Can we have some more quality - Russian version
Can we have some more quality - Russian versionCan we have some more quality - Russian version
Can we have some more quality - Russian version
 
Возможна ли жизнь без тестировщика?
Возможна ли жизнь без тестировщика?Возможна ли жизнь без тестировщика?
Возможна ли жизнь без тестировщика?
 
автоматизация тестирования огурцом
автоматизация тестирования огурцомавтоматизация тестирования огурцом
автоматизация тестирования огурцом
 
Юзабилити аудит и сплит тестирование
Юзабилити аудит и сплит тестированиеЮзабилити аудит и сплит тестирование
Юзабилити аудит и сплит тестирование
 
Mind map для «Архитектура А/Б тестирования: сделай сам»
Mind map для «Архитектура А/Б тестирования: сделай сам»Mind map для «Архитектура А/Б тестирования: сделай сам»
Mind map для «Архитектура А/Б тестирования: сделай сам»
 

A/B тестирование и грабли

  • 1. Ошибки и грабли в организации A/B и MV тестов Обзор доступных инструментов тестирования Особенности их практического использования Что учитывать при самостоятельной организации тестирования
  • 3. Что такое A/B тестирование
  • 5. Основные вопросы которые возникают при тестировании? 1. Для чего и когда использовать тестирование 2. При каких условиях тестирование (не) проходит успешно 3. Какие элементы интерфейсов тестировать 4. Чем тестировать 5. Как интерпретировать результаты 6. Где возникают ошибки
  • 6. Когда тестирование помогает? Если тестирование - это процесс: 1. Установили цели (бизнес-цели > цели на сайте > KPI > целевые метрики) 2. Произвели начальные измерения и выделили приоритеты в тестировании 3. Протестировали 4. Оценили результаты и внедрили 5. Повторили опять (на других страницах)
  • 7. Необходимые условия ● Статистическая достоверность результатов ● Четкие, явные, количественно измеримые цели ● Достаточные: посещаемость тестируемых страниц, количество конверсионных действий и однородность аудитории ● Проверенные и отлаженные инструменты тестирования ● Ну, и отдельно поговорим об элементах которые тестируются
  • 8. Продолжительность эксперимента Зависит от трафика, конверсии, различий в тестируемых вариантах. Считается на калькуляторах Лучше больше чем меньше, многие сервисы определяют сами Желательно минимум 100 конверсионных действий на вариант Обычно 2-3 недели
  • 10. Как на самом деле выбрать страницу для тестирования? Смотрим статистику и выбираем: ● Самые посещаемые страницы ● Самые посещаемые посадочные страницы ● Страницы с дорогими визитами ● Страницы с отказами ● Страницы в воронке продаж (если она настроена) с отказами
  • 11. Таблица для приоритизации тестирования Страница Потенциал Важность Легкость изменения Среднее значение Насколько можно увеличить конверсию, от 1 до 10 Сколько посетителей приходит на эту страницу и какова стоимость этих посетителей, от 1 до 10 Насколько легко тестировать эту страницу (технически и с точки зрения пользовательского взаимодействия), от 1 до 10
  • 14. Как на самом деле выбрать элементы для тестирования? Все просто: 1. Выдвините гипотезу, которая объясняет поведение пользователей 2. Предложите решение, за счет изменений элементов (тестируемые элементы должны напрямую влиять на конверсию) 3. Не тестируйте сразу много элементов (1-2 вполне достаточно) 4. Не берите для тестирования незначительные изменения
  • 15. Кратко - идеи для тестирования ● Добавьте слово «Бесплатно» ● Создайте видео с объяснением ● Приклейте кнопку регистрации к верхней части страницы ● Сократите форму заявки ● Покажите товар «лицом» ● Демо-версия vs Денежный возврат ● Длительность бесплатной версии ● Предложите бонусы, ограниченные по времени ● Добавьте денежную ценность бесплатным предложениям ● Поменяйте цвета кнопок
  • 16. Хотите ещё больше кейсов? ● http://lpgenerator.ru/blog/2013/04/05/24- gipotezy-split-testirovanij/ ● http://whichtestwon.com/ ● http://www.abtests.com/ ● http://visualwebsiteoptimizer.com/split- testing-blog/
  • 17. Попробуем угадать какой вариант работает лучше! Практическая работа 30 вариантов для 15 страниц
  • 18. Инструменты тестирования 1. Эксперименты в Google Analytics 2. Яндекс.Метрика 3. Visual Website Optimizer 4. Optimizely 5. ABtest.ru и еще много других на http://whichMVT.com
  • 19. Google Analytics Бесплатно и обычно уже используется на сайте Можно проводить только A/B тесты на разных URI Программисты нужны, но не сильно (создать дополнительный вариант страницы, установить полученный код) Расчёт происходит только по одной цели, но для анализа результатов можно потом применять расширенные сегменты и другие интересные "фичи" GA Нет сегментации по посетителям и % трафика на каждую из групп GA используют "жадный" алгоритм ("многорукий бандит") https://support.google. com/analytics/answer/2844870?hl=ru
  • 25. Яндекс Метрика Параметры визитов http://help.yandex. ru/metrika/content/visit-params.xml Бесплатно и скорее всего уже стоит у многих на сайте Только A/B тестирование (но на произвольных страницах) Необходимо привлекать программистов (распределение пользователей по группам - алгоритм тестирования, установка cookie, установка кодов, возможно обсчёт результатов) Для обработки результатов необходимо использовать статистические калькуляторы
  • 27. Статистические калькуляторы ● http://www.artmetod.ru/a-b-testing/230 ● http://www.measuringusability.com/calc.php ● http://visualwebsiteoptimizer.com/ab-split- test-duration/ ● http://visualwebsiteoptimizer. com/downloads/ab_testing_significance_cal culator.xls
  • 28. Visual Website Optimizer Платный A/B тестирование Мультивариантное тестирование Персонализация сайта на основе поведения посетителя и геотаргетинга Тепловая карта кликов (для каждого из вариантов отдельно) Юзабилити тестирование и тестирование цен Визуальный редактор Интеграция с различными сервисами (Аналитика: Google Analytics, Adobe SiteCatalyst, Clicky, CMS: WordPress, Joomla, Drupal)
  • 29. Optimizely Платный инструмент Умеет проводить A/B и мультивариантные тестирования Так же, как и в VWO, есть визуальный редактор Умеет сегментировать участников экспериментов Тоже умеет распределять трафик между вариантами страниц Скрипты - расположены на cdn сервиса
  • 30. ABtest.ru С недавнего времени бесплатный ! Русскоязычный Только A/B тесты Визуальный редактор Скрипты - расположены на cdn сервиса Есть простая сегментация пользователей
  • 31. Блок для "продвинутых" ● Большинство (70-80%) ваших тестов провалятся ● Делайте A/A тесты (если инструмент которым вы пользуетесь нов для вас, потом можно отказаться от этого или сразу проводить A/B/A тесты) ● Макро- конверсии лучше, чем микро-. Смотрите конечную конверсию — например продажу ● Высокая конверсия не равна большему заработку. ● Понедельник — это не вторник. Тестируйте неделями
  • 32. Продолжение ● Не бойтесь показателя отказов ● Разделяйте тесты. Для мобильных отдельно ● Уродцы тоже могут зарабатывать. Это сайты сосредоточившиеся на функционале http://blog.kissmetrics.com/ugly-websites/ ● Уменьшайте сопротивление. Не заставляйте пользователей делать вещи, которые им делать не нужно. ● Не думайте, что надо измерять только один коэффициент, влияющий на конверсию - смотрите на картинку в целом
  • 33. Локальный максимум и лучший дизайн
  • 34. Существует ли негативное влияние A/B тестов на SEO? 1. нет, не существует, пруф от Google 2. что бы снизить это негативное влияние ))) a. используем rel="canonical" на страницах вариаций b. если пользователя надо перенаправить на страницу вариации используем 302 редирект
  • 35. Перспективы развития тестирования 1. Автоматизация, автоматизация и автом... 2. Персонализация какие знания о пользователях есть в минимальном варианте: Geo IP День недели Время суток Язык клиента Браузер Операционная система Тип клиента (например, оптовый или розничный, новый или постоянный)
  • 36. Чем можно пользоваться для мегакрутой персонализации 1. Facebook или ВКонтакте. Через API или просто составляя рекламные кампании и пересылая пользователей через промежуточные страницы 2. Самостоятельный сбор информации о пользователях 3. Внешние системы. Система IonIntercative персонализирует посетителя сайта по 33 параметрам
  • 38. Доклад про персонализацию под пользователя http://events.yandex.ru/events/yac/m/talks/823/
  • 40. Спасибо за внимание! Вопросы? Букей Максим Юзабилити эксперт на 66.ru Skype: maxgabba Twitter: maxgabba E-mail: maxgabba@gmail.com