SlideShare une entreprise Scribd logo
1  sur  14
Télécharger pour lire hors ligne
Think Big. Move Fast.
Francesco De Chirico
• 13 anni nell’area formazione di Telecom Italia
• 7 anni come libero professionista
• Dal 2007 Mentor in SolidQ
• Modellazione e sviluppo di soluzioni di BI con piattaforma Microsoft dal 2001
• Profonda conoscenza di SSAS e linguaggi MDX e DAX
• Microsoft MCT dal 2008
• SSAS Maestro dal 2012
• Mail: fdechirico@solidq.com
Running Big Data
Datarace
www.datarace.eu
Timing Data Service
• Timing company leader a livello nazionale per numero di atleti cronometrati
• oltre 350.000 atleti
• più di un 1.000.000 di tempi di gara
• Non solo atletica:
• ciclismo, MTB, sci di fondo ed altre per un totale di oltre 30 discipline coperte
• Offre servizi organizzativi, come
• grafica TV
• gestione delle iscrizioni
• la produzione di materiali (pettorali, volantini, buste, ecc.)
SolidQ
• Società Globale di consulenza sulla Piattaforma Dati Microsoft
• Nata nel 2002 in Spagna & North America
• Divisione Italiana aperta nel 2007
• Oltre 200 professionisti in tutto il mondo
• Maggior concentrazione di Microsoft Valuable Professional su SQL Server
• Offre servizi di Consulenza, Advisory, Mentoring e Formazione su
• Data Warehousing, Business Intelligence, Big Data & Analytics
• Performance Tuning, Performance Monitoring, Alta Disponibilità e Disaster Recovery
• Offre soluzioni di Remote DBA, Security Assessment, Check-Up, Cloud BI
Obiettivi e metodologia
• Definire architettura e "Big Data Journey" di riferimento
• Applicazione pratica in progetti già in produzione
• Fare "percepire" i big data agli utenti
• Big Dirty Data: nel backoffice
• Small Nice Useful Data: per l’utente finale
• Dimostrare il "valore" dei dati anche in aziende in cui essi non rappresentano il
core business
• Problema: nel 2014 Azure era molto diverso da ora
• Sfida: progettare un’architettura modulare migliorabile nel tempo
• Soluzione: SolidQ Adaptive BI Framework (www.adaptivebi.it)
Architettura Fisica
• Data Sources
• RDBMS
• JSON RESTful service
• Wikipedia
• Fast Ingest
• Ad-Hoc .NET Service su Virtual Machine
• vNext: Azure Event Hub + Azure Data Factory
• Stock
• Azure Blob Store per JSON
• SQL Server / SQL Azure per dati strutturati
Collect / Stock
Fast Ingest
Data Sources
Architettura Fisica
• Batch Process su Raw Stock
• HDInsight + Python Scripts + Hive Queries
• Batch load con SSIS + HDInsight ODBC
• Data Processing (VM + SQL Azure)
• SQL Server In-Memory Engine / ColumnStore
• T-SQL + SSIS
• Ad-Hoc .NET Scripts (dentro SSIS)
• vNext: Azure Stream Analytics
• Identity Mapping (VM)
• Multi-level Fuzzy Matching algorithm in SSIS
• vNext: HDInsight + Tez/Spark
Batch Process
Data Process
Data Process
Architettura Fisica
• Distilled Data
• SQL Azure
• Analytics (Clustering, Forecasting)
• Azure ML
• Cache Engine
• Azure Redis
Distilled Data
Analytics
Analytics
Architettura Fisica
• Web Application (Azure Web Apps)
• REST Service per il Query Manager
• HTML5 + Async JQuery Front End
• Data Exploration
• Excel per i Data Scientist
• PowerBI per gli utilizzatori finali “evoluti”
• Dove il sito web non basta
Analytics
Exploration
Funzionalità
• Oggi
• Dati ufficiali (pubblici) relativi a corse e corse in montagna
• Analisi statistiche sui dati ufficiali
• Da domani (27-11-2015)
• Login per accesso ai propri dati (privati) previa registrazione sito TDS
• Analisi statistiche sui propri dati
• Next upgrades
• Dati personali di allenamento
• Wearables Devices Data (IoT)
• Predictive Analytics
• …
Datarace
www.datarace.eu
Think Big. Move Fast.
www.solidq.it

Contenu connexe

Similaire à Running Big Data

Cloud, IoT and Big Data
Cloud, IoT and Big DataCloud, IoT and Big Data
Cloud, IoT and Big DataSolidQIT
 
Datarace: IoT e Big Data (Italian)
Datarace: IoT e Big Data (Italian)Datarace: IoT e Big Data (Italian)
Datarace: IoT e Big Data (Italian)Davide Mauri
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT CentralPower BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT CentralMarco Parenzan
 
Power BI data flow and Azure IoT Central
Power BI data flow and Azure IoT CentralPower BI data flow and Azure IoT Central
Power BI data flow and Azure IoT CentralMarco Parenzan
 
Dati, dati, dati! - Sfruttare le potenzialità delle XPages con Google Chart T...
Dati, dati, dati! - Sfruttare le potenzialità delle XPages con Google Chart T...Dati, dati, dati! - Sfruttare le potenzialità delle XPages con Google Chart T...
Dati, dati, dati! - Sfruttare le potenzialità delle XPages con Google Chart T...Dominopoint - Italian Lotus User Group
 
Introduzione a Microsoft Azure
Introduzione a Microsoft AzureIntroduzione a Microsoft Azure
Introduzione a Microsoft AzureRoberto Albano
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central Marco Parenzan
 
Gestione integrata di reti di distribuzione idrica e gas
Gestione integrata di reti di distribuzione idrica e gasGestione integrata di reti di distribuzione idrica e gas
Gestione integrata di reti di distribuzione idrica e gasServizi a rete
 
Win05 accesso ai dati in win 8
Win05   accesso ai dati in win 8Win05   accesso ai dati in win 8
Win05 accesso ai dati in win 8DotNetCampus
 
2015.04.23 Azure Community Bootcamp 2015 Keynote Italy
2015.04.23 Azure Community Bootcamp 2015 Keynote Italy2015.04.23 Azure Community Bootcamp 2015 Keynote Italy
2015.04.23 Azure Community Bootcamp 2015 Keynote ItalyMarco Parenzan
 
Be simple presentazione istituzionale
Be simple   presentazione istituzionaleBe simple   presentazione istituzionale
Be simple presentazione istituzionalegabrielesannicandro
 
Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...
Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...
Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...Data Driven Innovation
 
Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...
Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...
Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...Denodo
 
Introduzione ad iDashboards 9.0
Introduzione ad iDashboards 9.0Introduzione ad iDashboards 9.0
Introduzione ad iDashboards 9.0Sergio Sardo
 

Similaire à Running Big Data (20)

Cloud, IoT and Big Data
Cloud, IoT and Big DataCloud, IoT and Big Data
Cloud, IoT and Big Data
 
Datarace: IoT e Big Data (Italian)
Datarace: IoT e Big Data (Italian)Datarace: IoT e Big Data (Italian)
Datarace: IoT e Big Data (Italian)
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT CentralPower BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central
 
Power bi
Power biPower bi
Power bi
 
Power BI data flow and Azure IoT Central
Power BI data flow and Azure IoT CentralPower BI data flow and Azure IoT Central
Power BI data flow and Azure IoT Central
 
Dati, dati, dati! - Sfruttare le potenzialità delle XPages con Google Chart T...
Dati, dati, dati! - Sfruttare le potenzialità delle XPages con Google Chart T...Dati, dati, dati! - Sfruttare le potenzialità delle XPages con Google Chart T...
Dati, dati, dati! - Sfruttare le potenzialità delle XPages con Google Chart T...
 
Datamart.pdf
Datamart.pdfDatamart.pdf
Datamart.pdf
 
Introduzione a Microsoft Azure
Introduzione a Microsoft AzureIntroduzione a Microsoft Azure
Introduzione a Microsoft Azure
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central
 
Gestione integrata di reti di distribuzione idrica e gas
Gestione integrata di reti di distribuzione idrica e gasGestione integrata di reti di distribuzione idrica e gas
Gestione integrata di reti di distribuzione idrica e gas
 
Win05 accesso ai dati in win 8
Win05   accesso ai dati in win 8Win05   accesso ai dati in win 8
Win05 accesso ai dati in win 8
 
Microsoft Outlook for Domino (IMSMO)
Microsoft Outlook for Domino (IMSMO)Microsoft Outlook for Domino (IMSMO)
Microsoft Outlook for Domino (IMSMO)
 
2015.04.23 Azure Community Bootcamp 2015 Keynote Italy
2015.04.23 Azure Community Bootcamp 2015 Keynote Italy2015.04.23 Azure Community Bootcamp 2015 Keynote Italy
2015.04.23 Azure Community Bootcamp 2015 Keynote Italy
 
Datamart.pptx
Datamart.pptxDatamart.pptx
Datamart.pptx
 
Be simple presentazione istituzionale
Be simple   presentazione istituzionaleBe simple   presentazione istituzionale
Be simple presentazione istituzionale
 
Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...
Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...
Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...
 
Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...
Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...
Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...
 
Introduzione ad iDashboards 9.0
Introduzione ad iDashboards 9.0Introduzione ad iDashboards 9.0
Introduzione ad iDashboards 9.0
 
Azure Logic Apps
Azure Logic AppsAzure Logic Apps
Azure Logic Apps
 
CV_gaetano_nisi
CV_gaetano_nisi CV_gaetano_nisi
CV_gaetano_nisi
 

Running Big Data

  • 2. Francesco De Chirico • 13 anni nell’area formazione di Telecom Italia • 7 anni come libero professionista • Dal 2007 Mentor in SolidQ • Modellazione e sviluppo di soluzioni di BI con piattaforma Microsoft dal 2001 • Profonda conoscenza di SSAS e linguaggi MDX e DAX • Microsoft MCT dal 2008 • SSAS Maestro dal 2012 • Mail: fdechirico@solidq.com
  • 5. Timing Data Service • Timing company leader a livello nazionale per numero di atleti cronometrati • oltre 350.000 atleti • più di un 1.000.000 di tempi di gara • Non solo atletica: • ciclismo, MTB, sci di fondo ed altre per un totale di oltre 30 discipline coperte • Offre servizi organizzativi, come • grafica TV • gestione delle iscrizioni • la produzione di materiali (pettorali, volantini, buste, ecc.)
  • 6. SolidQ • Società Globale di consulenza sulla Piattaforma Dati Microsoft • Nata nel 2002 in Spagna & North America • Divisione Italiana aperta nel 2007 • Oltre 200 professionisti in tutto il mondo • Maggior concentrazione di Microsoft Valuable Professional su SQL Server • Offre servizi di Consulenza, Advisory, Mentoring e Formazione su • Data Warehousing, Business Intelligence, Big Data & Analytics • Performance Tuning, Performance Monitoring, Alta Disponibilità e Disaster Recovery • Offre soluzioni di Remote DBA, Security Assessment, Check-Up, Cloud BI
  • 7. Obiettivi e metodologia • Definire architettura e "Big Data Journey" di riferimento • Applicazione pratica in progetti già in produzione • Fare "percepire" i big data agli utenti • Big Dirty Data: nel backoffice • Small Nice Useful Data: per l’utente finale • Dimostrare il "valore" dei dati anche in aziende in cui essi non rappresentano il core business • Problema: nel 2014 Azure era molto diverso da ora • Sfida: progettare un’architettura modulare migliorabile nel tempo • Soluzione: SolidQ Adaptive BI Framework (www.adaptivebi.it)
  • 8. Architettura Fisica • Data Sources • RDBMS • JSON RESTful service • Wikipedia • Fast Ingest • Ad-Hoc .NET Service su Virtual Machine • vNext: Azure Event Hub + Azure Data Factory • Stock • Azure Blob Store per JSON • SQL Server / SQL Azure per dati strutturati Collect / Stock Fast Ingest Data Sources
  • 9. Architettura Fisica • Batch Process su Raw Stock • HDInsight + Python Scripts + Hive Queries • Batch load con SSIS + HDInsight ODBC • Data Processing (VM + SQL Azure) • SQL Server In-Memory Engine / ColumnStore • T-SQL + SSIS • Ad-Hoc .NET Scripts (dentro SSIS) • vNext: Azure Stream Analytics • Identity Mapping (VM) • Multi-level Fuzzy Matching algorithm in SSIS • vNext: HDInsight + Tez/Spark Batch Process Data Process Data Process
  • 10. Architettura Fisica • Distilled Data • SQL Azure • Analytics (Clustering, Forecasting) • Azure ML • Cache Engine • Azure Redis Distilled Data Analytics Analytics
  • 11. Architettura Fisica • Web Application (Azure Web Apps) • REST Service per il Query Manager • HTML5 + Async JQuery Front End • Data Exploration • Excel per i Data Scientist • PowerBI per gli utilizzatori finali “evoluti” • Dove il sito web non basta Analytics Exploration
  • 12. Funzionalità • Oggi • Dati ufficiali (pubblici) relativi a corse e corse in montagna • Analisi statistiche sui dati ufficiali • Da domani (27-11-2015) • Login per accesso ai propri dati (privati) previa registrazione sito TDS • Analisi statistiche sui propri dati • Next upgrades • Dati personali di allenamento • Wearables Devices Data (IoT) • Predictive Analytics • …
  • 14. Think Big. Move Fast. www.solidq.it