2. Константин Савенков
к.ф-м.н. (ВМК МГУ),
3 года директор
по науке в Zvooq,
2 года операционный директор
Bookmate и других проектов Dream
Industries
сейчас - CEO
3. Настраивал работу с
данными в проектах
• контентные сервисы B2C/B2B2C
• образовательные проекты
• рекламные проекты
• недвижимость
• в режиме консалтинга -
online2offline, UGC, биотехнологии
Zvooq, Bookmate
Theory&Practice, Exchanges
Unisound
DI Telegraph
Константин Савенков, 2016
14. План
• Уровни использования данных
• Эволюция data driven компании
• Определение целей и KPI
• Измерение эффекта всех инициатив в компании
• Формирование гипотез и постановка экспериментов
• Лидирующие и опережающие индикаторы, прогнозирующие модели
• Автоматизация ручного труда
• Управление изменениями компании
• Данные как актив
Константин Савенков, 2016
15. Мастерство
Трансформация бизнеса
Включение в бизнес
Монетизация данных
Принятие решений
Оптимизация бизнеса
Аналитика
Секреты бизнеса
Уровни использования
данных
Сбор данных
Мониторинг
бизнеса
Константин Савенков, 2016
19. Все инициативы должны
улучшать KPI
Формулируйте гипотезы
Ставьте эксперименты
Данные - проверяют гипотезы
в основе ваших решений.
Данные не решают!
Константин Савенков, 2016
23. НЕПОНЯТНО
кто отвечает?
как улучшить?
как связано с затратами
ресурсов?
(кроме СЕО)
(кроме “работать лучше”)
(когда большая часть бизнес-
процессов автоматизирована)
Константин Савенков, 2016
31. Кейс
Было принято вести маркетинговые проекты до
запуска
Отслеживание хода полугодовой кросс-промо
кампании показало существенный убыток через
COGS.
Удалось понять, какие механики к нему привели.
Поменяли механики промо-кампаний,
передоговорились с партнерами по нескольким
запущенным позднее.
ПРОФИТ
Константин Савенков, 2016
33. На самом деле, так не
работает
маркетинговая кампания
Константин Савенков, 2016
34. На самом деле, так не
работает
маркетинговая кампания
запустили фичу в продукте
перебои с биллингом
школьники пришли с каникул
фичеринг в аппсторе
народ вернулся с отпусков
Константин Савенков, 2016
35. На самом деле, так не
работает
маркетинговая кампания
запустили фичу в продукте
перебои с биллингом
школьники пришли с каникул
фичеринг в аппсторе
народ вернулся с отпусков
КОНВЕРСИЯ С РАЗНЫХ
КАНАЛОВ ОТЛИЧАЕТСЯ
НА ПОРЯДКИ
Константин Савенков, 2016
36. А ТАКЖЕ:
Множество проектов, которые
и не надо было запускать
Культура празднования
случайного успеха и
объяснения неудач
внешними факторами
Невозможность
учиться на ошибках
Константин Савенков, 2016
37. формулировка измеримых гипотез
планирование экспериментов
определение критериев успеха/
неудачи до реализации
организация сбора и атрибуции данных,
сплит-тестирование, контролируемые
переменные, статистическая значимость
явное выведение рисков
использование построенных моделей
помощь в приоритезации
и того, как неудача поможет в
формулировке следующих гипотез
возможность проверять несколько
гипотез одновременно
Константин Савенков, 2016
38. Кейсы
Просчет механик маркетинговых проектов до их запуска.
Изменения в продукте с повышением конверсии в 2,5 раза,
времени жизни пользователя - в 2 раза
Сплит тестирование таргетирования и креативов рекламных
компаний, с достижением конверсии в 2-3 раза выше
органической
Резкое увеличение “конверсии” из всех инициатив в успешные
И все остальные выводы об эффективности тех или иных подходов
множество неудачных экспериментов
успех несмотря на все внешние факторы
ИНАЧЕ НИКАККонстантин Савенков, 2016
39. Кейс: Повышение конверсии
• Гипотезы для проверки:
1. Конверсия через рекомендуемые товары выше средней
2. Достаточно много пользователей воспользуется рекомендациями
• Единственный путь - сплит-тестирование:
– конверсия из разных каналов трафика отличается до 20 раз
– аккуратно контролировать качество трафика сложнее, чем сделать
сплит-тест
• Делаем пилот:
– Запуск с ограниченными затратами, затем оценка результатов и
решение о масштабировании (масштабирование своей системы,
контракт с поставщиком итп)
Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015
40. Кейс: Повышение конверсии
Группа А Группа Б
3 первые книги
от редакции
3 первые книги
от РС хол.
старта
Воспользовались
рекомендациями
Конверсия в
покупку
Общая
конверсия
Выглядит неплохо!
Неужели стало на 40%
больше клиентов?
На самом деле нет,
так как лишь 7%
не знало что почитать
Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015
41. Оценим экономическую
эффективность
• Для оплаты сторонней РС по модели CPO, комиссия за заказ не должна
превышать $0.14 (на самом деле, должна быть еще ниже)
• В случае фиксированного платежа за лицензию в размере $1000**/мес,
этот вариант имеет смысл начиная с 7143 новых клиентов/мес, или
размера маркетингового бюджета от $35K.
* Величины CAC и маркетингового бюджета - модельные
** величина взята с потолка
Общая конверсия С%
Цена привлечения = $5
Группа А Группа Б
Общая конверсия 1.028*С%
Цена привлечения = $4.86
Конверсия выше в 1.4 раза
для 7% пользователей
Общая конверсия по всем
каналам - С%
Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015
46. Кейс
Часть постоянных подписчиков продукта
отваливалась на 2-3 месяца, что объяснялось
отпусками и другими факторами.
На дневных индикаторах стало видно, что это люди,
подписавшиеся в будни. Загадка!
Оказалось, что в будни происходит частая выкатка
нового кода на сервер, из-за чего сбрасывается
очередь продления подписок.
Исправив, повысили время жизни пользователя на
20%
Константин Савенков, 2016
54. Кейсы
Количество пользователей растет с 1 до 2млн,
удваиваем поддержку?
Вводим автоответ на основе базы знаний и
использование шаблонов
Количество рынков растет, добавляем редакторов?
Пишем алгоритм подбора шорт-листов на
основе поведения пользователей
Поток UGC увеличивается на порядок, добавляем
контент-менеджеров?
Используем дедупликацию и подсказки на
основе собранных данных
Константин Савенков, 2016
59. Кейс
Продуктивность Agile разработки
измеряем и ищем узкие места:
ПРОДУКТИВНОСТЬ
Оценка ресурсов на
запланированное и
завершенное
Трудовые ресурсы
ТОЧНОСТЬ
Оценка ресурсов на
запланированное и
завершенное
Реальные ресурсы на
запланированное и
завершенное
ЗАВЕРШАЕМОСТЬ
Реальные ресурсы на
запланированное и
завершенное
Ресурсы на
запланированные задачи
ПЛАНИРУЕМОСТЬ
Ресурсы на
запланированные задачи
Реально использованные
ресурсы
УТИЛИЗАЦИЯ
Реально
использованные
ресурсы
Трудовые ресурсы
Константин Савенков, 2016
61. Кейсы
• Сравнение B2B2C сделок через юнит-экономику
• Определение качества трафика партнеров
• Партнерства на основе данных
• Таргетированные рассылки
• Персонализация и рекомендательные системы
(следующий слайд)
• Бонус: Поиск причин большого кол-ва отказов в
интернет-ритейле
Константин Савенков, 2016
62. Влияние рекомендательной
системы *
*рекомендательная система
Затраты на
привлечение
Доход с
клиента
Стоимость
проданного
товара
Маркетинговый
бюджет
Новые клиенты
Средний чек
Время жизни
клиента
Маржинальность
корзины
Конверсия
Удержание
Реактивация
Маржинальность
витрины
÷
×
Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015
64. НА САМОМ ДЕЛЕ
данные, построенные на них
модели и результаты
экспериментов
это актив, который
создает и использует
инновационный бизнес
Константин Савенков, 2016