SlideShare a Scribd company logo
1 of 21
Маркетинг количественный
и эмпирический
(и немножко психологии)
Андрей Себрант
Новосибирск, 27 марта 2016
Хороший маркетолог хочет все измерить
Часто не знает в деталях, что можно, а что нельзя.
Поэтому продукт хорошо бы увешать счетчиками,
а все важное писать в свои логи.
А дальше что? Просто в Excel или SPSS загнать
не всегда полезно. Зато есть масса
специализированных скриптов.
CasualImpact*
как типичный инструмент:
как анализировать ТВ-рекламу
Case Study: Аналитика офлайновой кампании
│ *https://google.github.io/CausalImpact/
Как померить эффект ТВ-кампании
Target – метрика, на которую мы хотим повлиять своей
маркетинговой деятельностью. В нашем случае это куки
с user-agent=YaBro
Predictor – метрика, связанная с целевой, но НЕ
подверженная влиянию маркетинговой активности. В
нашем случае – all unique cookies
Target и Predictor должны хорошо коррелировать в отсутствие
активностей, влияющих на Target.
(количество используемых Яндекс.Браузеров в отсутствие его продвижения коррелирует с общей
активностью пользователей)
Сплошная линия – наблюденные куки
Пунктир - расчет, основанный на поведении предиктора
К концу флайта ТВ-рекламы: превышение предсказания на 100 000 - 120 000 целевых кук в день
(что хорошо коррелирует с данными по загрузкам и запускам браузера в его собственных логах)
Training
Comparison with
prediction
Campaign on TV
Users from UA with Yandex.Browser
Impact of Ya.Bro adv campaign 17.11-21.12.2014, Ukraine.
Uniq users from Ya.Bro on all sites with Metrika counter
А есть ли влияние бренда?
▌ Гипотеза: демонстрация бренда в ролике могла привлечь внимание к
самому Яндексу и привести новых пользователей Поиска.
Для этой гипотезы:
Target:
cookies on SERP
Predictor:
cookies on all sites
from UA users
SERP visitors from UA
Отсутствие статистически значимых изменений
(Совпадает с данными традиционного мониторинга здоровья бренда)
Impact of Ya.Bro adv campaign 17.11-21.12.2014, Ukraine.
Uniq Yandex Search visitors
Есть ли влияние на поисковое поведение?
▌ Гипотеза: поставив себе Яндекс.Браузер, человек начинает искать
Яндексом чаще, чем искал раньше.
Target:
cookies from
Yandex SERP
Predictor-2:
cookies form all
search engines
Users from SERP
Отсутствие статистически значимых изменений
Impact of Ya.Bro adv campaign 17.11-21.12.2014, Ukraine.
Uniq visitors from Yandex Search predictor – visitors from all SEs
Люди не всегда рациональны,
продукт воспринимают эмоционально
Case Study: Алгоритмы и почта
Вас устраивают антиспам-фильтры в почте?
Вас устраивает контекстная реклама на
странице письма?
Если ответы не совпали, вы непоследовательны.
Зато похожи на человека ;)
“Any sufficiently advanced technology
is indistinguishable from magic.”
Arthur C. Clarke, 1973
Жизнь и продукт: правило номер 1
Границы между виртуальным и физическим миром
размылись окончательно.
Поэтому хороший продукт обязательно похож
на волшебство вокруг нас.
Нет волшебства – не вовлечения и аудитории
Персонализация как минимальное чудо
Продукт, который тебя узнает (а еще и
понимает) – это простейшее волшебство, и пока
еще оно действует.
Неперсонализированный продукт выглядит уже
туповато. Но здесь-то и нужна помощь
психолога: людям нравится, когда их понимают,
но совсем не нравится, если про них слишком
много знают.
Вовлечение с помощью
персональных рекомендаций
Case study: Яндекс.Музыка и Дзен в Браузере
Можно уйти от «похожести»
Традиционные рекомендации опираются на здравый смысл
и заданные человеком связи и логику. Disco намного лучше 
Скучное решение: подобие Умная технология: ОТКРЫТИЕ
Работает тем лучше, чем больше человеческих сигналов
учитывает алгоритм
Время прослушивания: роль открытий
Launch +19%
logged-in
no login
time
months
Мониторинг по главным метрикам
Клики на пользователя и события продукта: оперативная метрика здоровья 20
Измерять всё, но следить за главным
Дарить людям чудо, хотя бы маленькое
Что трудно самому – возьми в API
21
Вместо выводов
Спасибо ;)
asebrant@yandex-team.ru
+7 (495) 739-7000 @asebrant
https://www.facebook.com/asebrant
Андрей Себрант
Яндекс, директор по маркетингу сервисов

More Related Content

Similar to Андрей Себрант

iCamp 2015. Леонід Слов’янов “Що насправді бачить на вашому сайті відвідувач?”
iCamp 2015. Леонід Слов’янов “Що насправді бачить на вашому сайті відвідувач?”iCamp 2015. Леонід Слов’янов “Що насправді бачить на вашому сайті відвідувач?”
iCamp 2015. Леонід Слов’янов “Що насправді бачить на вашому сайті відвідувач?”Lviv Startup Club
 
Ігор Семиженко “‘Skills are cheap’: ключова роль Product people” Kharkiv Proj...
Ігор Семиженко “‘Skills are cheap’: ключова роль Product people” Kharkiv Proj...Ігор Семиженко “‘Skills are cheap’: ключова роль Product people” Kharkiv Proj...
Ігор Семиженко “‘Skills are cheap’: ключова роль Product people” Kharkiv Proj...Lviv Startup Club
 
Тезисы про интернет-маркетинг
Тезисы про интернет-маркетингТезисы про интернет-маркетинг
Тезисы про интернет-маркетингAndrey Sebrant
 
Маркетинг мобильных приложений: чек-лист по запуску первой кампании
Маркетинг мобильных приложений: чек-лист по запуску первой кампанииМаркетинг мобильных приложений: чек-лист по запуску первой кампании
Маркетинг мобильных приложений: чек-лист по запуску первой кампанииNetpeak
 
Будущее_интерактивного_маркетинга
Будущее_интерактивного_маркетингаБудущее_интерактивного_маркетинга
Будущее_интерактивного_маркетингаYandex
 
Performance-маркетинг мобильных приложений
Performance-маркетинг мобильных приложенийPerformance-маркетинг мобильных приложений
Performance-маркетинг мобильных приложенийNetpeak
 
Введение_в_интернет-маркетинг
Введение_в_интернет-маркетингВведение_в_интернет-маркетинг
Введение_в_интернет-маркетингYandex
 
imu2010 Типичные ошибки в интернет-рекламе. Евгений Шевченко, UaMaster
imu2010 Типичные ошибки в интернет-рекламе. Евгений Шевченко, UaMasterimu2010 Типичные ошибки в интернет-рекламе. Евгений Шевченко, UaMaster
imu2010 Типичные ошибки в интернет-рекламе. Евгений Шевченко, UaMasterUAMASTER Digital Agency
 
Как запустить рекламу будущего Александр Шестаков (Руководитель отдела по раб...
Как запустить рекламу будущего Александр Шестаков (Руководитель отдела по раб...Как запустить рекламу будущего Александр Шестаков (Руководитель отдела по раб...
Как запустить рекламу будущего Александр Шестаков (Руководитель отдела по раб...BranchMarketing
 
Тезисы_про_интернет-маркетинг: почему_его_не_существует
Тезисы_про_интернет-маркетинг: почему_его_не_существуетТезисы_про_интернет-маркетинг: почему_его_не_существует
Тезисы_про_интернет-маркетинг: почему_его_не_существуетYandex
 
Perfomance-маркетинг мобильных приложений
Perfomance-маркетинг мобильных приложенийPerfomance-маркетинг мобильных приложений
Perfomance-маркетинг мобильных приложенийNetpeak
 
Иннокентий Нестеренко, Topright: Работает ли мой контент?
Иннокентий Нестеренко, Topright: Работает ли мой контент?Иннокентий Нестеренко, Topright: Работает ли мой контент?
Иннокентий Нестеренко, Topright: Работает ли мой контент?SPECIA
 
Работает ли мой контент? Основы аналитики контентого маркетинга.
Работает ли мой контент? Основы аналитики контентого маркетинга.Работает ли мой контент? Основы аналитики контентого маркетинга.
Работает ли мой контент? Основы аналитики контентого маркетинга.Nimax
 
[Leadmachine] trends 2013
[Leadmachine] trends 2013[Leadmachine] trends 2013
[Leadmachine] trends 2013ConcertWith.me
 
Как обогнать конкурентов при помощи интернета?
Как обогнать конкурентов при помощи интернета?Как обогнать конкурентов при помощи интернета?
Как обогнать конкурентов при помощи интернета?UAMASTER Digital Agency
 
11. управление рекламным бюджетом жук константин
11. управление рекламным бюджетом жук константин11. управление рекламным бюджетом жук константин
11. управление рекламным бюджетом жук константинzaharec
 
Давыдов Выведение бренда через интернет
Давыдов Выведение бренда через интернетДавыдов Выведение бренда через интернет
Давыдов Выведение бренда через интернетRegistratura.ru
 
Александр Шестаков и Дмитрий Буров, Sape и Likeberi: "Bigdata"
Александр Шестаков и Дмитрий Буров, Sape и Likeberi: "Bigdata"Александр Шестаков и Дмитрий Буров, Sape и Likeberi: "Bigdata"
Александр Шестаков и Дмитрий Буров, Sape и Likeberi: "Bigdata"web2win
 
Презентация Тимофея Пивсаева (Amnet) на конференции eTarget2017 - 31 марта 20...
Презентация Тимофея Пивсаева (Amnet) на конференции eTarget2017 - 31 марта 20...Презентация Тимофея Пивсаева (Amnet) на конференции eTarget2017 - 31 марта 20...
Презентация Тимофея Пивсаева (Amnet) на конференции eTarget2017 - 31 марта 20...Dentsu_Aegis_Network_Russia
 

Similar to Андрей Себрант (20)

iCamp 2015. Леонід Слов’янов “Що насправді бачить на вашому сайті відвідувач?”
iCamp 2015. Леонід Слов’янов “Що насправді бачить на вашому сайті відвідувач?”iCamp 2015. Леонід Слов’янов “Що насправді бачить на вашому сайті відвідувач?”
iCamp 2015. Леонід Слов’янов “Що насправді бачить на вашому сайті відвідувач?”
 
Ігор Семиженко “‘Skills are cheap’: ключова роль Product people” Kharkiv Proj...
Ігор Семиженко “‘Skills are cheap’: ключова роль Product people” Kharkiv Proj...Ігор Семиженко “‘Skills are cheap’: ключова роль Product people” Kharkiv Proj...
Ігор Семиженко “‘Skills are cheap’: ключова роль Product people” Kharkiv Proj...
 
Тезисы про интернет-маркетинг
Тезисы про интернет-маркетингТезисы про интернет-маркетинг
Тезисы про интернет-маркетинг
 
Маркетинг мобильных приложений: чек-лист по запуску первой кампании
Маркетинг мобильных приложений: чек-лист по запуску первой кампанииМаркетинг мобильных приложений: чек-лист по запуску первой кампании
Маркетинг мобильных приложений: чек-лист по запуску первой кампании
 
Будущее_интерактивного_маркетинга
Будущее_интерактивного_маркетингаБудущее_интерактивного_маркетинга
Будущее_интерактивного_маркетинга
 
Performance-маркетинг мобильных приложений
Performance-маркетинг мобильных приложенийPerformance-маркетинг мобильных приложений
Performance-маркетинг мобильных приложений
 
Введение_в_интернет-маркетинг
Введение_в_интернет-маркетингВведение_в_интернет-маркетинг
Введение_в_интернет-маркетинг
 
imu2010 Типичные ошибки в интернет-рекламе. Евгений Шевченко, UaMaster
imu2010 Типичные ошибки в интернет-рекламе. Евгений Шевченко, UaMasterimu2010 Типичные ошибки в интернет-рекламе. Евгений Шевченко, UaMaster
imu2010 Типичные ошибки в интернет-рекламе. Евгений Шевченко, UaMaster
 
Как запустить рекламу будущего Александр Шестаков (Руководитель отдела по раб...
Как запустить рекламу будущего Александр Шестаков (Руководитель отдела по раб...Как запустить рекламу будущего Александр Шестаков (Руководитель отдела по раб...
Как запустить рекламу будущего Александр Шестаков (Руководитель отдела по раб...
 
Тезисы_про_интернет-маркетинг: почему_его_не_существует
Тезисы_про_интернет-маркетинг: почему_его_не_существуетТезисы_про_интернет-маркетинг: почему_его_не_существует
Тезисы_про_интернет-маркетинг: почему_его_не_существует
 
Perfomance-маркетинг мобильных приложений
Perfomance-маркетинг мобильных приложенийPerfomance-маркетинг мобильных приложений
Perfomance-маркетинг мобильных приложений
 
Netpeak Talks #8 Запуск и ведение PPC проектов в СНГ и на Западе.
Netpeak Talks #8 Запуск и ведение PPC проектов в СНГ и на Западе.Netpeak Talks #8 Запуск и ведение PPC проектов в СНГ и на Западе.
Netpeak Talks #8 Запуск и ведение PPC проектов в СНГ и на Западе.
 
Иннокентий Нестеренко, Topright: Работает ли мой контент?
Иннокентий Нестеренко, Topright: Работает ли мой контент?Иннокентий Нестеренко, Topright: Работает ли мой контент?
Иннокентий Нестеренко, Topright: Работает ли мой контент?
 
Работает ли мой контент? Основы аналитики контентого маркетинга.
Работает ли мой контент? Основы аналитики контентого маркетинга.Работает ли мой контент? Основы аналитики контентого маркетинга.
Работает ли мой контент? Основы аналитики контентого маркетинга.
 
[Leadmachine] trends 2013
[Leadmachine] trends 2013[Leadmachine] trends 2013
[Leadmachine] trends 2013
 
Как обогнать конкурентов при помощи интернета?
Как обогнать конкурентов при помощи интернета?Как обогнать конкурентов при помощи интернета?
Как обогнать конкурентов при помощи интернета?
 
11. управление рекламным бюджетом жук константин
11. управление рекламным бюджетом жук константин11. управление рекламным бюджетом жук константин
11. управление рекламным бюджетом жук константин
 
Давыдов Выведение бренда через интернет
Давыдов Выведение бренда через интернетДавыдов Выведение бренда через интернет
Давыдов Выведение бренда через интернет
 
Александр Шестаков и Дмитрий Буров, Sape и Likeberi: "Bigdata"
Александр Шестаков и Дмитрий Буров, Sape и Likeberi: "Bigdata"Александр Шестаков и Дмитрий Буров, Sape и Likeberi: "Bigdata"
Александр Шестаков и Дмитрий Буров, Sape и Likeberi: "Bigdata"
 
Презентация Тимофея Пивсаева (Amnet) на конференции eTarget2017 - 31 марта 20...
Презентация Тимофея Пивсаева (Amnet) на конференции eTarget2017 - 31 марта 20...Презентация Тимофея Пивсаева (Amnet) на конференции eTarget2017 - 31 марта 20...
Презентация Тимофея Пивсаева (Amnet) на конференции eTarget2017 - 31 марта 20...
 

More from CodeFest

Alexander Graebe
Alexander GraebeAlexander Graebe
Alexander GraebeCodeFest
 
Никита Прокопов
Никита ПрокоповНикита Прокопов
Никита ПрокоповCodeFest
 
Денис Баталов
Денис БаталовДенис Баталов
Денис БаталовCodeFest
 
Елена Гальцина
Елена ГальцинаЕлена Гальцина
Елена ГальцинаCodeFest
 
Александр Калашников
Александр КалашниковАлександр Калашников
Александр КалашниковCodeFest
 
Ирина Иванова
Ирина ИвановаИрина Иванова
Ирина ИвановаCodeFest
 
Marko Berković
Marko BerkovićMarko Berković
Marko BerkovićCodeFest
 
Денис Кортунов
Денис КортуновДенис Кортунов
Денис КортуновCodeFest
 
Александр Зимин
Александр ЗиминАлександр Зимин
Александр ЗиминCodeFest
 
Сергей Крапивенский
Сергей КрапивенскийСергей Крапивенский
Сергей КрапивенскийCodeFest
 
Сергей Игнатов
Сергей ИгнатовСергей Игнатов
Сергей ИгнатовCodeFest
 
Николай Крапивный
Николай КрапивныйНиколай Крапивный
Николай КрапивныйCodeFest
 
Alexander Graebe
Alexander GraebeAlexander Graebe
Alexander GraebeCodeFest
 
Вадим Смирнов
Вадим СмирновВадим Смирнов
Вадим СмирновCodeFest
 
Константин Осипов
Константин ОсиповКонстантин Осипов
Константин ОсиповCodeFest
 
Raffaele Rialdi
Raffaele RialdiRaffaele Rialdi
Raffaele RialdiCodeFest
 
Максим Пугачев
Максим ПугачевМаксим Пугачев
Максим ПугачевCodeFest
 
Rene Groeschke
Rene GroeschkeRene Groeschke
Rene GroeschkeCodeFest
 
Иван Бондаренко
Иван БондаренкоИван Бондаренко
Иван БондаренкоCodeFest
 
Mete Atamel
Mete AtamelMete Atamel
Mete AtamelCodeFest
 

More from CodeFest (20)

Alexander Graebe
Alexander GraebeAlexander Graebe
Alexander Graebe
 
Никита Прокопов
Никита ПрокоповНикита Прокопов
Никита Прокопов
 
Денис Баталов
Денис БаталовДенис Баталов
Денис Баталов
 
Елена Гальцина
Елена ГальцинаЕлена Гальцина
Елена Гальцина
 
Александр Калашников
Александр КалашниковАлександр Калашников
Александр Калашников
 
Ирина Иванова
Ирина ИвановаИрина Иванова
Ирина Иванова
 
Marko Berković
Marko BerkovićMarko Berković
Marko Berković
 
Денис Кортунов
Денис КортуновДенис Кортунов
Денис Кортунов
 
Александр Зимин
Александр ЗиминАлександр Зимин
Александр Зимин
 
Сергей Крапивенский
Сергей КрапивенскийСергей Крапивенский
Сергей Крапивенский
 
Сергей Игнатов
Сергей ИгнатовСергей Игнатов
Сергей Игнатов
 
Николай Крапивный
Николай КрапивныйНиколай Крапивный
Николай Крапивный
 
Alexander Graebe
Alexander GraebeAlexander Graebe
Alexander Graebe
 
Вадим Смирнов
Вадим СмирновВадим Смирнов
Вадим Смирнов
 
Константин Осипов
Константин ОсиповКонстантин Осипов
Константин Осипов
 
Raffaele Rialdi
Raffaele RialdiRaffaele Rialdi
Raffaele Rialdi
 
Максим Пугачев
Максим ПугачевМаксим Пугачев
Максим Пугачев
 
Rene Groeschke
Rene GroeschkeRene Groeschke
Rene Groeschke
 
Иван Бондаренко
Иван БондаренкоИван Бондаренко
Иван Бондаренко
 
Mete Atamel
Mete AtamelMete Atamel
Mete Atamel
 

Андрей Себрант

  • 1.
  • 2. Маркетинг количественный и эмпирический (и немножко психологии) Андрей Себрант Новосибирск, 27 марта 2016
  • 3. Хороший маркетолог хочет все измерить Часто не знает в деталях, что можно, а что нельзя. Поэтому продукт хорошо бы увешать счетчиками, а все важное писать в свои логи. А дальше что? Просто в Excel или SPSS загнать не всегда полезно. Зато есть масса специализированных скриптов.
  • 4. CasualImpact* как типичный инструмент: как анализировать ТВ-рекламу Case Study: Аналитика офлайновой кампании │ *https://google.github.io/CausalImpact/
  • 5. Как померить эффект ТВ-кампании Target – метрика, на которую мы хотим повлиять своей маркетинговой деятельностью. В нашем случае это куки с user-agent=YaBro Predictor – метрика, связанная с целевой, но НЕ подверженная влиянию маркетинговой активности. В нашем случае – all unique cookies Target и Predictor должны хорошо коррелировать в отсутствие активностей, влияющих на Target. (количество используемых Яндекс.Браузеров в отсутствие его продвижения коррелирует с общей активностью пользователей)
  • 6. Сплошная линия – наблюденные куки Пунктир - расчет, основанный на поведении предиктора К концу флайта ТВ-рекламы: превышение предсказания на 100 000 - 120 000 целевых кук в день (что хорошо коррелирует с данными по загрузкам и запускам браузера в его собственных логах) Training Comparison with prediction Campaign on TV Users from UA with Yandex.Browser Impact of Ya.Bro adv campaign 17.11-21.12.2014, Ukraine. Uniq users from Ya.Bro on all sites with Metrika counter
  • 7. А есть ли влияние бренда? ▌ Гипотеза: демонстрация бренда в ролике могла привлечь внимание к самому Яндексу и привести новых пользователей Поиска. Для этой гипотезы: Target: cookies on SERP Predictor: cookies on all sites from UA users
  • 8. SERP visitors from UA Отсутствие статистически значимых изменений (Совпадает с данными традиционного мониторинга здоровья бренда) Impact of Ya.Bro adv campaign 17.11-21.12.2014, Ukraine. Uniq Yandex Search visitors
  • 9. Есть ли влияние на поисковое поведение? ▌ Гипотеза: поставив себе Яндекс.Браузер, человек начинает искать Яндексом чаще, чем искал раньше. Target: cookies from Yandex SERP Predictor-2: cookies form all search engines
  • 10. Users from SERP Отсутствие статистически значимых изменений Impact of Ya.Bro adv campaign 17.11-21.12.2014, Ukraine. Uniq visitors from Yandex Search predictor – visitors from all SEs
  • 11. Люди не всегда рациональны, продукт воспринимают эмоционально Case Study: Алгоритмы и почта
  • 12. Вас устраивают антиспам-фильтры в почте? Вас устраивает контекстная реклама на странице письма? Если ответы не совпали, вы непоследовательны. Зато похожи на человека ;)
  • 13. “Any sufficiently advanced technology is indistinguishable from magic.” Arthur C. Clarke, 1973
  • 14. Жизнь и продукт: правило номер 1 Границы между виртуальным и физическим миром размылись окончательно. Поэтому хороший продукт обязательно похож на волшебство вокруг нас. Нет волшебства – не вовлечения и аудитории
  • 15. Персонализация как минимальное чудо Продукт, который тебя узнает (а еще и понимает) – это простейшее волшебство, и пока еще оно действует. Неперсонализированный продукт выглядит уже туповато. Но здесь-то и нужна помощь психолога: людям нравится, когда их понимают, но совсем не нравится, если про них слишком много знают.
  • 16. Вовлечение с помощью персональных рекомендаций Case study: Яндекс.Музыка и Дзен в Браузере
  • 17. Можно уйти от «похожести» Традиционные рекомендации опираются на здравый смысл и заданные человеком связи и логику. Disco намного лучше  Скучное решение: подобие Умная технология: ОТКРЫТИЕ Работает тем лучше, чем больше человеческих сигналов учитывает алгоритм
  • 18. Время прослушивания: роль открытий Launch +19% logged-in no login time months
  • 19. Мониторинг по главным метрикам Клики на пользователя и события продукта: оперативная метрика здоровья 20
  • 20. Измерять всё, но следить за главным Дарить людям чудо, хотя бы маленькое Что трудно самому – возьми в API 21 Вместо выводов
  • 21. Спасибо ;) asebrant@yandex-team.ru +7 (495) 739-7000 @asebrant https://www.facebook.com/asebrant Андрей Себрант Яндекс, директор по маркетингу сервисов

Editor's Notes

  1. symbol датчики везде
  2. Стрелочку убрать Нарисовать 2 образа: предиктор – magic ball
  3. Сделать текст аккуратным Все с заглавной буквы Comparison
  4. Гипотезу – цитатой + 2 образа
  5. Гипотезу – цитатой + 2 образа
  6. Мало только алгоритмов, нужна еще и психология Когда появляются ответы, вопросы должны оставаться
  7. Портрет + имя + Цитата + дата
  8. Symbol Itogo 8 API, говорят друг с другом в режиме реального времени
  9. symbol personalization