Hadoop in Wikimart. Part 1. Business

•Télécharger en tant que PPT, PDF•

4 j'aime•16,591 vues

Этот доклад я презентовал на конференции BI тренды 11 октября 2012 года в Москве. http://events.cnews.ru/events/programm/bi_instrumenty_v_rossii__poslednie_trendy.shtml

Hadoop & Wikimart
Роман Зыков
http://wikimart.ru

Moscow, BI trends, 11th October 2012

Задачи Wikimart

Что
•BI задачи
•Веб аналитика (внутреннее решение)
•Рекомендации на сайте
•Сервисы для маркетинга

Кто
•Аналитический отдел
•Аналитики других отделов
•IT

Проблема

Ждать или платить?
•Объем данных
•# сервисов

Map Reduce

Standalone

DATA

Map Reduce

Наша идея

Новая платформа только для “больших”
задач

•Исследовать Map Reduce ПО
•Первый пациент – алгоритмы рекомендаций

Сложности
- нет бюджета -> Hadoop бесплатен
- нет экспертов -> изучили
- нет железа -> виртуальный кластер

Требования

• Масштабируемость
• Инсталляция
• Интеграция
• Без Java
• SQL запросы

Результаты

Рекомендации
•Коллаборативная фильтрация (веб данные, PIG)
•Товары аналоги (атрибуты товаров, PIG)
•Популярные товары (веб данные, HiveQL)
•Поисковые рекомендации (HiveQL)

1 год эксплуатации
•>10% доходов
•3 месяца на запуск
•Десятки гигабайт обрабатываются за 2 часа
•1 авария из-за полного отключения питания

Решение: Вложить деньги в железо

Конечный пользователь

Внутренние ЯП
•HiveQL
•Pig

BI задачи
•Агрегация данных для OLAP
•RDBMS как витирина
•OLAP и BI должны поддерживать HiveQL

Интеграция данных

• SQOOP
• Параллельный обмен с RDBMS
(MS SQL, MySQL, Oracle, Teradata… )
• Инкрементальное обновление
• HDFS, Hive, HBASE

• Talend Open Studio

Hadoop и RDBMS

• Не заменят RDBMS:
• Задержка
• Слабые возможности HiveQL отн. SQL
• Задачи по оффлайн вычислениям:
• Машинное обучение
• Запросы к «большим» таблицам
• ….
• Онлайн запросы: NOSQL

Выводы

• Hadoop это не квантовая физика
• Вычислительные данные могут быть большими

Starter kit
• Система управления Hadoop
• Виртуальное железо (облако и т.д.)
• Оффлайн вычисления
• Pig или HiveQL
• Sqoop: импорт/экспорт данных из БД

Спасибо!!!

rzykov@gmail.com
linkedin.com/in/romanzykov
http://kpis.ru

Recommandé

сервисы персонализации на основе данныхRoman Zykov

Cервис рекомендаций на виртуальном Hadoop кластере (Роман Зыков)Ontico

OlapForkConf

Виталий Гаврилов (Ленвендо)Ontico

«Облачная платформа Windows Azure для высоконагруженных проектов»Nata_Churda

SQL Server Analysis Services 2014: табличная модель - альтернатива кубам?Andrey Korshikov

доклад на вмк 15.10.2015Alexandr Petrov

SSAS Multidimension и Tabular: что выбрать?Andrey Korshikov

Recommandé

сервисы персонализации на основе данныхRoman Zykov

Cервис рекомендаций на виртуальном Hadoop кластере (Роман Зыков)Ontico

OlapForkConf

Виталий Гаврилов (Ленвендо)Ontico

«Облачная платформа Windows Azure для высоконагруженных проектов»Nata_Churda

SQL Server Analysis Services 2014: табличная модель - альтернатива кубам?Andrey Korshikov

доклад на вмк 15.10.2015Alexandr Petrov

SSAS Multidimension и Tabular: что выбрать?Andrey Korshikov

SSAS: multidemention vs tabular modeAndrey Korshikov

Промышленное ускорение сайтов / Николай Мациевский (Айри.рф)Ontico

16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Оптимиза...IT-Portfolio

HappyDev'15 Keynote: Когда все данные станут большими...Alexey Zinoviev

"OLAP с помощью Postgres (как мы строили BI)" Фефелов Андрей, Mastery.proit-people

«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Coit-people

Семантическое ядро рунетаCEE-SEC(R)

Владислав Флакс — OWOX — IСBDA 2015rusbase

владивосток форум Deep_seeElena Ometova

Илья Салтанов, Олег Новиков (Sports.ru)Ontico

Моделирование для NoSQL БДAndrew Sovtsov

Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...Ontico

Внутренняя архитектура и устройства соц. сети "Одноклассники".toster

16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Строим N...IT-Portfolio

Databases on Client SideEcommerce Solution Provider SysIQ

Блеск и нищета распределённых кэшейaragozin

2015-12-05 Алексей Зиновьев - Когда все данные станут большими...HappyDev

Про аналитику и серебряные пулиRamblerML

2013-02-02 02 Нелюбин. Почему NoSqlОмские ИТ-субботники

"High load в условиях ограниченных ресурсов", Олег Бунинit-people

[Mirantis Day 2015] Проект Sahara - BigData на OpenStackSergey Lukjanov

Bi роскошь для богатых или насущная необходимостьSimon Tarara

Contenu connexe

Tendances

SSAS: multidemention vs tabular modeAndrey Korshikov

Промышленное ускорение сайтов / Николай Мациевский (Айри.рф)Ontico

16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Оптимиза...IT-Portfolio

HappyDev'15 Keynote: Когда все данные станут большими...Alexey Zinoviev

"OLAP с помощью Postgres (как мы строили BI)" Фефелов Андрей, Mastery.proit-people

«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Coit-people

Семантическое ядро рунетаCEE-SEC(R)

Владислав Флакс — OWOX — IСBDA 2015rusbase

владивосток форум Deep_seeElena Ometova

Илья Салтанов, Олег Новиков (Sports.ru)Ontico

Моделирование для NoSQL БДAndrew Sovtsov

Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...Ontico

Внутренняя архитектура и устройства соц. сети "Одноклассники".toster

16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Строим N...IT-Portfolio

Databases on Client SideEcommerce Solution Provider SysIQ

Блеск и нищета распределённых кэшейaragozin

2015-12-05 Алексей Зиновьев - Когда все данные станут большими...HappyDev

Про аналитику и серебряные пулиRamblerML

2013-02-02 02 Нелюбин. Почему NoSqlОмские ИТ-субботники

"High load в условиях ограниченных ресурсов", Олег Бунинit-people

Tendances (20)

SSAS: multidemention vs tabular mode

Промышленное ускорение сайтов / Николай Мациевский (Айри.рф)

16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Оптимиза...

HappyDev'15 Keynote: Когда все данные станут большими...

"OLAP с помощью Postgres (как мы строили BI)" Фефелов Андрей, Mastery.pro

«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Co

Семантическое ядро рунета

Владислав Флакс — OWOX — IСBDA 2015

владивосток форум Deep_see

Илья Салтанов, Олег Новиков (Sports.ru)

Моделирование для NoSQL БД

Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...

Внутренняя архитектура и устройства соц. сети "Одноклассники"

16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Строим N...

Databases on Client Side

Блеск и нищета распределённых кэшей

2015-12-05 Алексей Зиновьев - Когда все данные станут большими...

Про аналитику и серебряные пули

2013-02-02 02 Нелюбин. Почему NoSql

"High load в условиях ограниченных ресурсов", Олег Бунин

En vedette

[Mirantis Day 2015] Проект Sahara - BigData на OpenStackSergey Lukjanov

Bi роскошь для богатых или насущная необходимостьSimon Tarara

Подход к решению аналитических задач на базе opensourceКРОК

ETL со SparkVasil Remeniuk

FOSS Sea 2014_DataWarehouse & BigData_Владимир Слободянюк ( Luxoft)GeeksLab Odessa

Опыт использования Spark, Основано на реальных событияхVasil Remeniuk

Практика миграции реляционных баз данных в экосистему HadoopYury Petrov

High impact data visualization with power view, power map, and power biHoàng Việt

PowerBI — новые возможности анализа данных в облакеStas Vyschepan

Особенности ETL — инструмента pentaho data integrator. Опыт КРОККРОК

Talend - about company and solutionsМаксим Остархов

DataTalks #4: Построение хранилища данных на основе платформы hadoop / Игорь ...WG_ Events

Hadoop presentationVlad Orlov

Реализация bi-системы собственными силами или как снизить стоимость проекта. ...КРОК

Обзор интересного функционала из последних релизов PowerBI Marina Payvina

Igor Bobak, Business Analysis ToolLviv Startup Club

Чем отличаются BI и Big Data?Michael Kozloff

Resource Aware Scheduling in Apache StormDataWorks Summit/Hadoop Summit

Realtime Analytics with Storm and HadoopDataWorks Summit

Scaling Apache Storm - Strata + Hadoop World 2014P. Taylor Goetz

En vedette (20)

[Mirantis Day 2015] Проект Sahara - BigData на OpenStack

Bi роскошь для богатых или насущная необходимость

Подход к решению аналитических задач на базе opensource

ETL со Spark

FOSS Sea 2014_DataWarehouse & BigData_Владимир Слободянюк ( Luxoft)

Опыт использования Spark, Основано на реальных событиях

Практика миграции реляционных баз данных в экосистему Hadoop

High impact data visualization with power view, power map, and power bi

PowerBI — новые возможности анализа данных в облаке

Особенности ETL — инструмента pentaho data integrator. Опыт КРОК

Talend - about company and solutions

DataTalks #4: Построение хранилища данных на основе платформы hadoop / Игорь ...

Hadoop presentation

Реализация bi-системы собственными силами или как снизить стоимость проекта. ...

Обзор интересного функционала из последних релизов PowerBI

Igor Bobak, Business Analysis Tool

Чем отличаются BI и Big Data?

Resource Aware Scheduling in Apache Storm

Realtime Analytics with Storm and Hadoop

Scaling Apache Storm - Strata + Hadoop World 2014

Similaire à Hadoop in Wikimart. Part 1. Business

Решения Oracle для Big DataAndrey Akulov

OSPconf. Big Data Forum 2015Ilya Gershanov

Гетерогенные сервисы для highload-проектов на примере Imhonet.ru и 4talk.im, ...Ontico

Oracle Big Data propositionAndrey Akulov

3 ibm bdw2015antishmanti

BigIntegrate - разрушение мифов по поводу ETL на HadoopAndrey Orlov

DataBase Intellegence Presentation Alexandr Zhuravlev

Big datamikeshagiev

Big Datamikeshagiev

Sponsors' Sessions: BAKOTECH (Dell Software)BAKOTECH

Oracle Big Data. Обзор технологийAndrey Akulov

SECON'2016. Алексеев Олег, Живой APISECON

Точка кипения: проектирование крупных веб-системRoman Ivliev

Проектирование архитектуры крупных веб-системTKConf

2 bdw.keyantishmanti

Выбор NoSQL базы данных для вашего проекта: "Не в свои сани не садись"Alexey Zinoviev

Асинхронный биллинг для службы такси - IzhDevCom November 2014Egor Konovalov

1 big data oracle digi octantishmanti

Слоны в облакахPavel Mezentsev

Построение системы аналитикиИлья Середа

Similaire à Hadoop in Wikimart. Part 1. Business (20)

Решения Oracle для Big Data

OSPconf. Big Data Forum 2015

Гетерогенные сервисы для highload-проектов на примере Imhonet.ru и 4talk.im, ...

Oracle Big Data proposition

3 ibm bdw2015

BigIntegrate - разрушение мифов по поводу ETL на Hadoop

DataBase Intellegence Presentation

Big data

Big Data

Sponsors' Sessions: BAKOTECH (Dell Software)

Oracle Big Data. Обзор технологий

SECON'2016. Алексеев Олег, Живой API

Точка кипения: проектирование крупных веб-систем

Проектирование архитектуры крупных веб-систем

2 bdw.key

Выбор NoSQL базы данных для вашего проекта: "Не в свои сани не садись"

Асинхронный биллинг для службы такси - IzhDevCom November 2014

1 big data oracle digi oct

Слоны в облаках

Построение системы аналитики

Plus de Roman Zykov

How to eliminate ideas as soon as possibleRoman Zykov

Kib Rif 2015. Make money from your dataRoman Zykov

Электронная коммерция: от Hadoop к Spark ScalaRoman Zykov

Big data europe 2012 brochure (3)Roman Zykov

Wikimart recommendationsRoman Zykov

Hadoop implementation in WikimartRoman Zykov

Google Analytics vs Omniture SiteCatalyst vs In-ouse Webanalytics at iMetricsRoman Zykov

MIPhT presentation about BIRoman Zykov

Owox rzykov kp_iexamplesRoman Zykov

Owox rzykovRoman Zykov

Roman zykovcertificatesRoman Zykov

Wpaper 005 functionalism_new_approachRoman Zykov

Searchpatterns 100519055231-phpapp02Roman Zykov

Metrics drivendesignRoman Zykov

E-commerce KPIsRoman Zykov

Ozon в высшей школе экономики часть 4Roman Zykov

Ozon в высшей школе экономики часть 3Roman Zykov

Ozon в высшей школе экономики часть 2Roman Zykov

Ozon в высшей школе экономики часть 1Roman Zykov

Roman Zykov CertificatesRoman Zykov

Plus de Roman Zykov (20)

How to eliminate ideas as soon as possible

Kib Rif 2015. Make money from your data

Электронная коммерция: от Hadoop к Spark Scala

Big data europe 2012 brochure (3)

Wikimart recommendations

Hadoop implementation in Wikimart

Google Analytics vs Omniture SiteCatalyst vs In-ouse Webanalytics at iMetrics

MIPhT presentation about BI

Owox rzykov kp_iexamples

Owox rzykov

Roman zykovcertificates

Wpaper 005 functionalism_new_approach

Searchpatterns 100519055231-phpapp02

Metrics drivendesign

E-commerce KPIs

Ozon в высшей школе экономики часть 4

Ozon в высшей школе экономики часть 3

Ozon в высшей школе экономики часть 2

Ozon в высшей школе экономики часть 1

Roman Zykov Certificates

Hadoop in Wikimart. Part 1. Business

1. Hadoop & Wikimart Роман Зыков http://wikimart.ru Moscow, BI trends, 11th October 2012

2. Введение Быть или не быть…. Hadoop

3. Задачи Wikimart Что •BI задачи •Веб аналитика (внутреннее решение) •Рекомендации на сайте •Сервисы для маркетинга Кто •Аналитический отдел •Аналитики других отделов •IT

4. Проблема Ждать или платить? •Объем данных •# сервисов

5. Map Reduce Standalone DATA Map Reduce

6. Наша идея Новая платформа только для “больших” задач •Исследовать Map Reduce ПО •Первый пациент – алгоритмы рекомендаций Сложности - нет бюджета -> Hadoop бесплатен - нет экспертов -> изучили - нет железа -> виртуальный кластер

7. Требования • Масштабируемость • Инсталляция • Интеграция • Без Java • SQL запросы

8. Схема данных DWH Сервисы данных

9. Результаты Рекомендации •Коллаборативная фильтрация (веб данные, PIG) •Товары аналоги (атрибуты товаров, PIG) •Популярные товары (веб данные, HiveQL) •Поисковые рекомендации (HiveQL) 1 год эксплуатации •>10% доходов •3 месяца на запуск •Десятки гигабайт обрабатываются за 2 часа •1 авария из-за полного отключения питания Решение: Вложить деньги в железо

10. Конечный пользователь Внутренние ЯП •HiveQL •Pig BI задачи •Агрегация данных для OLAP •RDBMS как витирина •OLAP и BI должны поддерживать HiveQL

11. Интеграция данных • SQOOP • Параллельный обмен с RDBMS (MS SQL, MySQL, Oracle, Teradata… ) • Инкрементальное обновление • HDFS, Hive, HBASE • Talend Open Studio

12. Hadoop и RDBMS • Не заменят RDBMS: • Задержка • Слабые возможности HiveQL отн. SQL • Задачи по оффлайн вычислениям: • Машинное обучение • Запросы к «большим» таблицам • …. • Онлайн запросы: NOSQL

13. Миф Терабайты? Петабайты? Big tasks!

14. Выводы • Hadoop это не квантовая физика • Вычислительные данные могут быть большими Starter kit • Система управления Hadoop • Виртуальное железо (облако и т.д.) • Оффлайн вычисления • Pig или HiveQL • Sqoop: импорт/экспорт данных из БД

15. Спасибо!!! rzykov@gmail.com linkedin.com/in/romanzykov http://kpis.ru