Présentation réalisée par Blue DME et COVEA lors du salon Big Data Paris 2017, le 6 mars. Retour d'expérience "Accélérer la connaissance des clients et des risques grâce à la donnée externe" dans l'assurance (données open data, données partenaires payantes, etc.). Contexte, innovations d'usage et technologiques et retours d'expérience des data scientists, actuaires et experts data. Innovation récompensée le 7 mars dans le même salon avec le trophée B2B remporté. Technologies utilisées : hadoop spark, machine learning.

1. Big Data Paris 2017
Accélérer la connaissance des clients et des risques grâce à la
donnée externe
Blue DME

2. Big Data Paris 2017
La genèse du XDStore

3. Big Data Paris 2017
Une conviction
3
Accélérer la connaissance des clients et la maitrise des risques grâce à
la donnée externe pour tous les data scientists du groupe

4. Big Data Paris 2017
Un constat
4
1 groupe historique de l’assurance, 3 marques
commerciales
- Un patrimoine de données internes et externes conséquent
- Mais aussi des silos historiques et organisationnels  Une
exploitation de la donnée externe difficile et épineuse

5. Big Data Paris 2017
Un catalyseur
5
Contexte exogène: Le deluge de la donnée (externe)
L’avènement de la donnée ouverte: + de 150 portails en
France*
*Source: OpenDataSoft, 2015, « La liste des portails open data dans le monde, https://www.opendatasoft.fr/ressource-liste-portails-open-data-dans-le-monde/

6. Big Data Paris 2017
Notre idée: Intégrer l’usage de la donnée externe dans le quotidien des statisticiens du
groupe
6
… en leur proposant un magasin partagé
et intelligent de la donnée externe

7. Big Data Paris 2017
L’eXternal Data Store
un projet de rupture à 4 points de vue

8. Big Data Paris 2017
1- Un catalogue unique pour les données externes
8
Un réceptacle unique et partagé de données
externes de sources diverses, composé
d’environ 2700 jeux de données de l’open
data

9. Big Data Paris 2017
2- Des données traitées, qualifiées, mises à jour, prêtes à l’emploi
9
Des jeux de données préparés, mis à jour,
certifiés, prêts à l’emploi avec une note
qualité qui permet d’estimer leurs valeurs

10. Big Data Paris 2017
3- Une plateforme de e-shopping de la donnée externe
10
Exploration du patrimoine de données externes
Amélioration de la connaissance d’un client ou d’un risque
Consultation du détail d’un jeu de données
Métadonnées (note qualité, like/dislike, commentaires, etc.)
Télécharger le jeu de données (initial ou enrichi)
Ajouter au favoris
La donnée externe devient une ressource disponible,
accessible et facile d’utilisation

11. Big Data Paris 2017
4- Des infos clés pour les data scientists et data analysts
11
Un service d’exploration automatique de la
donnée externe, qui permet aux data scientists
une valorisation immédiate de son apport

12. Big Data Paris 2017
Usage
Comment sélectionner la donnée?

13. Big Data Paris 2017
Deux utilisations: Une approche exploratoire
13
Naviguer dans le catalogue Consulter la « fiche descriptive » du jeu de données
« Zoomer » pour analyser le contenu du jeu de données via le
profiling
Partager son appréciation du jeu de données: like/dislike,
commentaire, etc.

14. Big Data Paris 2017
Deux utilisations: Une approche analytique – le XDMiner
14
Croiser un jeu de données interne avec
l’ensemble des jeux de données du
catalogue
Améliorer la pertinence d’un modèle de
prédiction en lui injectant des variables
exogènes

15. Big Data Paris 2017
Innovations technologiques dans le
projet XDStore

16. Big Data Paris 2017
Analyses systématiques et automatiques de toutes les données
16
Analyse sémantique
 Données géographiques
– Codes postaux, communes, quartiers IRIS…
– Coordonnées géographiques…
 Données d’entreprises
– SIREN…
 Données commerciales:
– Immatriculations véhicule…
Analyse technique et statistique
 Inférence de type
 Distribution, Cardinalité
 Catégories, variables continues

17. Big Data Paris 2017
Découverte des relations sous-jacentes avec les données externes
 Métadonnées (thèmes, tags)
 Sémantique des noms de colonne, des
contenus
 Distribution des données
…permettent de découvrir le graphe de
relations entre tous les jeux de données et
celui de l’utilisateur
17

18. Big Data Paris 2017
Algorithme automatisé d’enrichissement des données utilisateur
18
Analyse
automatique
Détermination de clé de
matching
• Inférence de type
• Inférence sémantique
(patterns)
• Mesure de distribution
et cardinalité
Matchings possibles
Identification de paires de
colonnes
• Matching strict
• Matching fuzzy
• Matching géographique
• Matching de données
anonymisées
Heuristiques
d’élimination
Algorithmes probabilistes
d’estimation de matching
Enrichissement
Exécution de la « jointure »
Enrichissement de la
donnée initiale avec des
infos externes
clients
age
code
commune
date
souscript°
Dataset
Utilisateur id_contrat
revenus
en FR
commune
3000
Datasets
Externes
rev
median
id_zone
XXX
XXX
Clé possible
Clé possible
Clé possible
Clé possible
Match
possible
Match
possible
Elimination
Nouvelle donnée
JOIN

19. Big Data Paris 2017
Des données internes trop limitées pour obtenir de bons modèles prédictifs
19
y = f (X)
Variable à prédire
(eg. « acheteur »)
0
1
0
0
1
0
…
y x1 x2 x3 … xn
32
23
56
71
19
24
…
75
92
33
18
01
13
…
VIP
PRO
Famille
Senior
15/25
STD
…
0.1
-0.7
0.0
0.5
0.8
0.4
…
…
Données internes

20. Big Data Paris 2017
Amélioration de modèles prédictifs par apport de données externes
20
y = f ’ ( X  X’ )
0
1
0
0
1
0
…
y x1 x2 x3 … xn
32
23
56
71
19
24
…
75
92
33
18
01
13
…
VIP
PRO
Famille
Senior
15/25
STD
…
0.1
-0.7
0.0
0.5
0.8
0.4
…
…
Données internes
1.2
5.6
8.9
0.0
5.4
12.0
…
1
1
0
0
1
1
…
852
741
56
96
963
654
…
x'1 x'2 … x'n
Variables exogènes
apportées
automatiquement
Un gain d’information
mesurable

21. Big Data Paris 2017
Plateforme technologique
21
• Language and
synonyms
Core technologique issu de la R&D Blue DME
XDStore co-construit avec COVEA

22. Big Data Paris 2017
Retours d’expérience

23. Big Data Paris 2017
Le XDStore: un projet collaboratif
23
La mise en œuvre du projet a nécessité des ressources
internes (métier et IT) et externes (la startup Blue DME)
Des ateliers de cadrage mais aussi de validation
avec les data scientists ont permis l’ajustement de
l’outil aux besoins
L’approche collaborative continue, une fois l’outil en production,
pour surveiller la qualité du catalogue, son utilisabilité et sa
pertinence
Phase de développement
Phase de production

24. Big Data Paris 2017
Transformer la donnée externe en levier
24
Amener la culture de la donnée externe
1
Accélérer le processus de valorisation de la
donnée externe
2
Faire profiter le groupe du patrimoine de
données externes  mettre en place une
gouvernance de la donnée externe
3

25. Big Data Paris 2017
Trophées de l’innovation Big Data -
Catégorie B2B: demain à 12h40
Votez pour nous !
Merci !
Venez nous voir au village startup !
Atelier Blue DME : demain à 10h30 en
salle D
Blue DMEBlue DME
Soumaya Ben Hassine
COVEA
@soumayabenhassi
Mathieu DESPRIEE
Blue DME
@mdespriee