Вебинар DOCFLOW, 7 октября 2015. Докладчик — Захар Кириллов.

1. Big Data с точки зрения
конечного пользователя
Собака
Павлова
Захар Кириллов

2. Принципиальная позиция автора
сформировалась в ходе интервью
c пользователями, в различных
ипостасях соприкасающихся с Big Data
(от аналитиков и программистов до
дизайнеров и потребителей),
а также при чтении публицистических
статей в популярных медиа и
аналитических отчетов.
Откуда
дровишки?

3. Терминология

4. Big Data — цифровые данные (часто —
слабоструктурированные),
поступающие так быстро и в таких
объемах, что возникают сложности
с их хранением, обработкой, защитой и
анализом традиционными методами.

5. Data Mining — интеллектуальный анализ данных
с целью выявления ранее неизвестных, но
практически полезных закономерностей.
Технологии: статистические методы, машинное
обучение, искусственные нейронные сети.

6. миллионов
сообщений
500 350 150
миллионов
фотографий
тысяч часов
видео
25
терабайт
данных
У кого больше?
Каждые 24 часа!

7. Big Data в Enterprise
100ГБ данных
или 1 млн записей
в сутки
Из них лишь 1% представляет ценность для бизнеса.

8. Big Data в малом бизнесе
выбросить данные жалко или невозможно;
нанимать людей для их анализа нерационально;
разовая покупка железа или софта не спасает.
Ситуация, в которой:

9. Объем данных — понятие субъективное.
У разных компаний — свои возможности
«переварить» поступающие данные,
свой предел «насыщения» ими.

10. Где рождаются большие данные?
Кассовые операции в торговой сети.
Комментарии и «лайки» пользователей соцсети.
Поток звонков и соединений у телеком-оператора.
Сигналы датчиков «Интернета вещей», телематика.
Очередь e-mail на сервере интернет-провайдера.
Определение тематики и образов в потоковом видео.
Транзакции на валютной бирже и между банками.
Система бронирования билетов у перевозчиков.
Статистика посещаемости популярных сайтов.

11. Тренды

12. Объем рынка
Рынок РФ в 2015 году — $350–500 млн (2%) при росте 40% в год.

13. Проблемы рынка
Защита данных.
Ограниченный бюджет.
Нехватка специалистов
Технологические сложности.
Незрелость предприятия.

14. Видные игроки

15. Внедрения в России

16. Управление рисками, борьба
с мошенничеством, сегментация
и оценка кредитоспособности клиентов,
прогнозирование очередей в отделениях,
расчет бонусов для сотрудников,
персонализация предложений клиентам.

17. Сегментация и прогнозирование
оттока клиентов, анализ отзывов
в соцсетях и на форумах.

18. Анализ поведения пользователей сайта,
персонализация контента, предиктивный анализ
потребительских привычек клиента для увеличения
повторных продаж.

19. Оповещение людей, находящихся в зоне
чрезвычайной ситуации, а также тех,
кто туда может попасть; оптимизация работы
колл-центра за счет прогнозирования причины
обращения; оценка кредитоспособности
абонентов.

20. Мобильная геоаналитика помогает
правительству Москвы определиться
с размещением новых магистралей
и станций метро.

21. Прогнозирование нагрузки
на сеть; анализ пассажиропотока,
определение популярных маршрутов
и видов транспорта
(совместный проект с РЖД).

22. Фильтрация спама, таргетинг рекламы,
оптимизация работы техподдержки,
анализ поведения пользователей.

23. Внедрение страховой телематики
для снижение убыточности
портфеля автострахования.

24. Управление товарными запасами
для сокращения среднего времени
пребывания товара на полке.

25. Открытые данные
Правительство Москвы
http://data.mos.ru/
Правительство России
http://data.gov.ru/

26. С чего начать?

27. Отчетность → Аналитика → Big Data

28. Бизнес-цели
Конкурентное преимущество за счет выявления закономерностей.
Снижение затрат на ваша проблемная статья расходов .
Edutament (образование + развлечение)
для клиентов, сотрудников и партнеров.
Инфографика — информационные поводы для СМИ.
Новые партнеры в лице государства
или других «труднодоступных» организаций.
Выход на новые рынки с информационными продуктами.

29. Пользовательские ожидания
Достоверность информации.
WOW-фактор — удивление результатом.
Визуализация — наглядность и понятность результата.
Интерактивность — возможность взаимодействовать с данными.
Персонализация — загрузка и выгрузка
собственных массивов данных.
Защита личных данных от утечки, гарантия соблюдения
ФЗ об их хранении и обработке.

30. Команда
Заказчик: ставит цель, выделяет ресурсы, принимает результат.
Руководитель проекта: отвечает за коммуникацию, планирование
и использование ресурсов.
Директор по использованию данных (Chief Data Officer, Data Chief):
курирует всю работу по анализу данных — сбор, хранение, защиту и обработку;
понимает предметную область, бизнес, технологии и юридические аспекты.
Математик-аналитик: использует методы и инструментарий Data Mining
для проверки гипотез и выявления закономерностей.
ИТ-отдел: программисты, UX-дизайнер, сисадмин — реализуют
запросы всех вышеназванных.

31. Big Data «малой кровью»
Внутренний хакатон, «конвейер гипотез» — вместе с коллегами
сделать домашнее задание и выяснить, какие данные можете собирать,
какие закономерности есть смысл пробовать в них обнаружить,
для чего использовать в бизнесе?
Предложить задачу фрилансерам — на конкурсной основе
за вознаграждение на сайте kaggle.com.
Обратиться к студентам — ВШЭ, МФТИ, МГУ, ИТМО, СПбГУ,
МГТУ им. Баумана готовят специалистов в сфере анализа данных.
Поручить профессионалам — algomost.com, rubbles.ru,
yandexdatafactory.com, doubledata.ru, datalaboratory.ru.

32. sobaka@pavlova.cc+7 (812) 640-49-21
КБ «Собака Павлова»
www.pavlova.cc
@sobakapav PavlovaPage