SlideShare une entreprise Scribd logo
1  sur  37
OCTO Part of Accenture Digital © 2020 - All rights reserved 1
OCTO Part of Accenture Digital © 2020 - All rights reserved 2
Monitoring de systèmes de data science
Un monde inexploré après leurs mises en production
OCTO Part of Accenture Digital © 2020 - All rights reserved 3
Les speakers
Mehdi
HOUACINE
Consultant Data
Emmanuel-Lin
TOULEMONDE
Consultant Data
OCTO Part of Accenture Digital © 2020 - All rights reserved
 Vous êtes une association qui cherche à aider les patients
épileptiques.
 Votre mission : prédire l’arrivée d’une crise d’épilepsie 5
minutes avant!
 Les patients portent des capteurs qui remontent
des constantes utiles pour la prédiction.
 Le patient met ses capteurs au lever et les retire
le soir.
4
Votre mission si vous l’acceptez...
Activité
dermale
Rythme
cardiaque
Respiration
OCTO Part of Accenture Digital © 2020 - All rights reserved
Nous avons :
 Construit le prototype
 Validé l’utilité
 Tiré les flux
 …
Nos patients se servent de la solution
5
… nous sommes en production …
OCTO Part of Accenture Digital © 2020 - All rights reserved 6
... Mais de nombreux challenges nous attendent encore
SPONSOR
“J’ai investi des millions
d’euros dans ce système.
Est-ce que ça marche ? ”
RÉGULATEUR
“Je veux m’assurer que le
modèle n’est pas biaisé
envers certaines
populations”
UTILISATEUR
“Je souhaite recevoir 1
prédiction avec au moins
5 minutes d’avance”
DATA
SCIENTIST
“Je dois savoir si le
modèle de machine
Learning fonctionne bien
en production”
OCTO Part of Accenture Digital © 2020 - All rights reserved 7
Ces challenges ne peuvent
être adressés directement
Le comportement de notre
système de data science doit être
observé et suivi dans la durée pour cela
Nous avons besoin de monitorer notre
système (pas juste le modèle) !
OCTO Part of Accenture Digital © 2020 - All rights reserved 8
L’intuition du data scientist …
Traitement 1 Traitement 2 Traitement 3 Prédiction
Moyenne Ecart-type𝝙
Min Max𝜎
OCTO Part of Accenture Digital © 2020 - All rights reserved 9
… donne un dashboard illisible
Nous sommes convaincu que le monitoring de distributions
dans tous les sens est inefficace et coûteux
T H E R E I S A B E T T E R
W A Y
Découpons le problème !
01
OCTO Part of Accenture Digital © 2020 - All rights reserved 11
On peut le monitorer
“À FROID”
On peut le monitorer
“À CHAUD”
Investigation
en temps réel
Indicateurs exposés
immédiatement
Information
historisée
Investigation
a posteriori
OCTO Part of Accenture Digital © 2020 - All rights reserved 12
Le système peut se comporter de
façon déterministe mais aussi
de façon non-déterministe
OCTO Part of Accenture Digital © 2020 - All rights reserved 13
Le monitoring apporte du feedback à différentes vitesses
Technique Données ROISLA /
SLO
OCTO Part of Accenture Digital © 2020 - All rights reserved 14
Le système peut être monitoré
de façon technique
Santé de la carte
graphique (GPU)
Consommation
de la RAM
OCTO Part of Accenture Digital © 2020 - All rights reserved
Comprendre ce que les
utilisateurs attendent réellement
du service afin d’éviter les
insatisfactions
puis le monitorer.
Service Licence Agreement | Objective
Monitoring de service
OCTO Part of Accenture Digital © 2020 - All rights reserved 16
On peut le monitorer par le prisme du coût
ou du gain (financier)
OCTO Part of Accenture Digital © 2020 - All rights reserved 17
Le monitoring des coûts / profits
CONTRAINTES :
1. Récupérer la vérité
2. Être capable de valoriser une bonne prédiction
SOLUTIONS :
1. Il faut toujours récupérer la
vérité ! Cela peut-être long,
mais il faut !
2. Il est possible de prendre :
⦿ Des hypothèses
⦿ Des proxys : métrique data
science, métrique métier
OCTO Part of Accenture Digital © 2020 - All rights reserved 18
On peut le monitorer par
le prisme de la donnée
T H E R E I S A B E T T E R
W A Y
Une méthode pour identifier les sondes data
02
OCTO Part of Accenture Digital © 2020 - All rights reserved 20
1ère étape : Tracer le pipeline
Stockage
Annotation
des crises
Réentrainement
ExpositionOn / Off
Capture
de signal
Pre-
processing
Prédiction
Amélioration
Inférence
OCTO Part of Accenture Digital © 2020 - All rights reserved 21
2ème étape : Identifier les sources de non-déterminisme
Stockage
Annotation
des crises
Réentrainement
Amélioration
Inférence
Sources de non-déterminisme
ExpositionOn / Off
Capture
de signal
Pre-
processing
Prédiction
OCTO Part of Accenture Digital © 2020 - All rights reserved
Non-déterministe car :
 Le bouton On / Off est à la main du patient
Propriété attendue :
 Les capteurs sont allumés de 7h15 à 22h30
> Car ce sont les heures indiquées par le patient
Sonde proposée :
 Créneaux horaires où les capteurs sont allumés
22
Le On / Off
OCTO Part of Accenture Digital © 2020 - All rights reserved 23
Prise de signal
Non-déterministe car :
 Le contenu du signal n’est pas maîtrisé par le système
Propriété attendue :
 Il doit y avoir un rythme cardiaque entre 50 et 180 bpm
Sonde proposée :
 Rythme cardiaque moyen par fenêtre glissantes de 60 sec
OCTO Part of Accenture Digital © 2020 - All rights reserved 24
Annotation des signaux
Non-déterministe car :
 Des annotateurs peuvent avoir des avis divergents
 Les annotateurs peuvent changer
Propriété attendue :
 Les signaux sont annotés par plusieurs annotateurs de manière
similaire
Sonde proposée :
 Mesure de la variance d’annotation entre deux experts
(ex : via Intersection over Union)
IoU : 20%
BAD
t
IoU : 75%
GOOD
t
IoU : 97%
EXCELLENT !
t
OCTO Part of Accenture Digital © 2020 - All rights reserved 25
Réentrainement
Non-déterministe car :
 L’aléa est au cœur des algorithmes d’apprentissages
Propriété attendue :
 Performance au moins équivalente sinon meilleure au modèle déjà
en production
Méthode pour les monitorer :
 Shadow production pour comparer les performances des modèles
candidats par rapport au modèle déployé en production
OCTO Part of Accenture Digital © 2020 - All rights reserved
Non-déterministe car : Propriétés attendues : Méthode pour les monitorer :
Il existe des problèmes
 que l’on à pas réussi à
formaliser,
 que l’on a estimé peu
probables,
 ou que l’on a simplement pas
identifié
 La distribution des
prédictions est stable
dans le temps
 Suivre la distribution
des prédictions, en bout de
pipeline
26
Une distribution monitorée par défaut : La voiture balais
T H E R E I S A B E T T E R
W A Y
Des principes à respecter pour avoir des sondes utiles
03
OCTO Part of Accenture Digital © 2020 - All rights reserved 28
Positionnement de la sonde
Stockage
Annotation
des crises
Réentrainement
ExpositionOn / Off
Capture
de signal
Pre-
processing
Prédiction
Plus une sonde est loin dans le pipeline, plus elle est générique
La prédiction n’est
pas assez performante à cause
de la prise de signal
La prédiction n’est
pas assez performante
OCTO Part of Accenture Digital © 2020 - All rights reserved 29
Cohérence entre les sondes
Stockage
Annotation
des crises
Réentrainement
ExpositionOn / Off
Capture
de signal
Pre-
processing
Prédiction
Lorsqu’une sonde lève une erreur à l’étape N mais qu’il n’y a pas de problèmes après :
cette sonde mérite d’être challengée
OCTO Part of Accenture Digital © 2020 - All rights reserved 30
Monitoring et temps de calculs
Stockage
Annotation
des crises
Réentrainement
ExpositionOn / Off
Capture
de signal
Pre-
processing
Prédiction
Une sonde ne doit pas casser les SLA !
OCTO Part of Accenture Digital © 2020 - All rights reserved 31
Critères de choix des sondes
Stockage
Annotation
des crises
Réentrainement
ExpositionOn / Off
Capture
de signal
Pre-
processing
Prédiction
Seuls les aléas anticipables et probables méritent des sondes
OCTO Part of Accenture Digital © 2020 - All rights reserved 32
Monitoring ou feature ?
Stockage
Annotation
des crises
Réentrainement
Exposition
3
Capteurs ?
Capture
de signal
Pre-
processing
Prédiction
On / Off
Si le besoin est critique, la sonde doit faire partie de l’application
T H E R E I S A B E T T E R
W A Y
Conclusion
04
OCTO Part of Accenture Digital © 2020 - All rights reserved 34
Notre dashboard final
85%
Bonnes
prédictions
ON / OFF Rythme cardiaque
Nombre de crises
prédites
IoU
Shadow
production
OCTO Part of Accenture Digital © 2020 - All rights reserved 35
Take away
01 03
02 04
Tracer le
pipeline
Poser des
sondes
Challenger ces
sondes
Itérer !
 Une fois en production, il faudra monitorer
 Il y a 4 prismes de monitoring
> Technique, SLA & SLO, data et ROI
 La nouveauté, c’est le monitoring sur les données
 Monitorer des distributions dans tous les sens est
COÛTEUX ET INEFFICACE
OCTO Part of Accenture Digital © 2020 - All rights reserved 36
Quelques pistes pour alimenter le backlog
Et d’autres pistes pour aller plus loin
Faire un atelier monitoring de
systèmes de data science
Mesurer et historiser les
métriques identifiées
Construire un Dashboard
pour visualiser les sondes
Donner accès au Dashboard
aux parties prenantes
Récolter du feedback
...
POUR ALLER PLUS LOIN
Se pencher sur l’alerting
S’intéresser aux 3 piliers de l’observabilité
…
La Duck Conf -  "Mise en prod de la data science : le jour d'après"

Contenu connexe

Tendances

Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobile
Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobileLe Lounge OCTO x Accenture - Offrir une expérience premium sur mobile
Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobileOCTO Technology
 
Le Comptoir OCTO - Réparez votre innovation
Le Comptoir OCTO - Réparez votre innovation Le Comptoir OCTO - Réparez votre innovation
Le Comptoir OCTO - Réparez votre innovation OCTO Technology
 
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...OCTO Technology
 
Le Comptoir OCTO - Data Science
Le Comptoir OCTO - Data Science Le Comptoir OCTO - Data Science
Le Comptoir OCTO - Data Science OCTO Technology
 
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"OCTO Technology
 
Le Comptoir : Les Chatbot stores en 2020
Le Comptoir : Les Chatbot stores en 2020Le Comptoir : Les Chatbot stores en 2020
Le Comptoir : Les Chatbot stores en 2020OCTO Technology
 
Matinale - Levez la malédiction du passage de l'IA en production
Matinale - Levez la malédiction du passage de l'IA en productionMatinale - Levez la malédiction du passage de l'IA en production
Matinale - Levez la malédiction du passage de l'IA en productionOCTO Technology
 
La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!OCTO Technology
 
La Duck Conf - "L'API Management : au-délà des promesses"
La Duck Conf - "L'API Management : au-délà des promesses" La Duck Conf - "L'API Management : au-délà des promesses"
La Duck Conf - "L'API Management : au-délà des promesses" OCTO Technology
 
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantismeMatinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantismeOCTO Technology
 
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"OCTO Technology
 
La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"OCTO Technology
 
Présentation travail du stage
Présentation travail du stagePrésentation travail du stage
Présentation travail du stageTaoufiq Bahalla
 
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...OCTO Technology
 
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti OCTO Technology
 
Live academy #3 - Quels profils pour l'innovation
Live academy #3 - Quels profils pour l'innovationLive academy #3 - Quels profils pour l'innovation
Live academy #3 - Quels profils pour l'innovationJerome Blanc
 
La Duck conf : "Hey ! Ton appli est elle GDPR ready"
La Duck conf : "Hey ! Ton appli est elle GDPR ready"La Duck conf : "Hey ! Ton appli est elle GDPR ready"
La Duck conf : "Hey ! Ton appli est elle GDPR ready"OCTO Technology
 
Le Comptoir OCTO - Data Science x RdvPermis
Le Comptoir OCTO - Data Science x RdvPermisLe Comptoir OCTO - Data Science x RdvPermis
Le Comptoir OCTO - Data Science x RdvPermisOCTO Technology
 
Le Comptoir OCTO - Accelerate @Cdiscount
Le Comptoir OCTO - Accelerate @CdiscountLe Comptoir OCTO - Accelerate @Cdiscount
Le Comptoir OCTO - Accelerate @CdiscountOCTO Technology
 

Tendances (20)

Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobile
Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobileLe Lounge OCTO x Accenture - Offrir une expérience premium sur mobile
Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobile
 
Le Comptoir OCTO - Réparez votre innovation
Le Comptoir OCTO - Réparez votre innovation Le Comptoir OCTO - Réparez votre innovation
Le Comptoir OCTO - Réparez votre innovation
 
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
 
Le Comptoir OCTO - Data Science
Le Comptoir OCTO - Data Science Le Comptoir OCTO - Data Science
Le Comptoir OCTO - Data Science
 
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
 
Le Comptoir : Les Chatbot stores en 2020
Le Comptoir : Les Chatbot stores en 2020Le Comptoir : Les Chatbot stores en 2020
Le Comptoir : Les Chatbot stores en 2020
 
Matinale - Levez la malédiction du passage de l'IA en production
Matinale - Levez la malédiction du passage de l'IA en productionMatinale - Levez la malédiction du passage de l'IA en production
Matinale - Levez la malédiction du passage de l'IA en production
 
Kit Canvas
Kit CanvasKit Canvas
Kit Canvas
 
La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!
 
La Duck Conf - "L'API Management : au-délà des promesses"
La Duck Conf - "L'API Management : au-délà des promesses" La Duck Conf - "L'API Management : au-délà des promesses"
La Duck Conf - "L'API Management : au-délà des promesses"
 
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantismeMatinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
 
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
 
La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"
 
Présentation travail du stage
Présentation travail du stagePrésentation travail du stage
Présentation travail du stage
 
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
 
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti
 
Live academy #3 - Quels profils pour l'innovation
Live academy #3 - Quels profils pour l'innovationLive academy #3 - Quels profils pour l'innovation
Live academy #3 - Quels profils pour l'innovation
 
La Duck conf : "Hey ! Ton appli est elle GDPR ready"
La Duck conf : "Hey ! Ton appli est elle GDPR ready"La Duck conf : "Hey ! Ton appli est elle GDPR ready"
La Duck conf : "Hey ! Ton appli est elle GDPR ready"
 
Le Comptoir OCTO - Data Science x RdvPermis
Le Comptoir OCTO - Data Science x RdvPermisLe Comptoir OCTO - Data Science x RdvPermis
Le Comptoir OCTO - Data Science x RdvPermis
 
Le Comptoir OCTO - Accelerate @Cdiscount
Le Comptoir OCTO - Accelerate @CdiscountLe Comptoir OCTO - Accelerate @Cdiscount
Le Comptoir OCTO - Accelerate @Cdiscount
 

Similaire à La Duck Conf - "Mise en prod de la data science : le jour d'après"

Solaire control td
Solaire control tdSolaire control td
Solaire control tdfgaheneau
 
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?OCTO Technology Suisse
 
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...OCTO Technology
 
OCTO Technology - Data Driven Company - SITB15
OCTO Technology - Data Driven Company - SITB15OCTO Technology - Data Driven Company - SITB15
OCTO Technology - Data Driven Company - SITB15OCTO Technology Suisse
 
BT_Evry_Présentation_des_technologies_05_03_15
BT_Evry_Présentation_des_technologies_05_03_15BT_Evry_Présentation_des_technologies_05_03_15
BT_Evry_Présentation_des_technologies_05_03_15BoursesTechnos
 
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?cyrilpicat
 
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...OCTO Technology
 
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictive
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictiveCwin16 - Paris - surveillance site_seveso_ analyse_prédictive
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictiveCapgemini
 
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivitéLe Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivitéOCTO Technology
 
Systemes autonomes photovoltaiques
Systemes autonomes photovoltaiquesSystemes autonomes photovoltaiques
Systemes autonomes photovoltaiquesCRESITT Industrie
 
3_cetim_maintenance 4.0_previsionnelle.pdf
3_cetim_maintenance 4.0_previsionnelle.pdf3_cetim_maintenance 4.0_previsionnelle.pdf
3_cetim_maintenance 4.0_previsionnelle.pdffaridOuanes
 
SATEL | Spie Batignolles énergie
SATEL | Spie Batignolles énergieSATEL | Spie Batignolles énergie
SATEL | Spie Batignolles énergieJean DUMESNIL
 
Une perspective multi-source de données pour l'Intelligence Technologique
Une perspective multi-source de données pour l'Intelligence TechnologiqueUne perspective multi-source de données pour l'Intelligence Technologique
Une perspective multi-source de données pour l'Intelligence TechnologiqueVIA INNO
 
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...Jerome Blanc
 
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016BoursesTechnos
 
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...Laurent Dunys
 
Une Data driven company à l'heure de la digitalisation
Une Data driven company à l'heure de la digitalisationUne Data driven company à l'heure de la digitalisation
Une Data driven company à l'heure de la digitalisationJoseph Glorieux
 

Similaire à La Duck Conf - "Mise en prod de la data science : le jour d'après" (20)

Solaire control td
Solaire control tdSolaire control td
Solaire control td
 
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
 
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
 
OCTO Technology - Data Driven Company - SITB15
OCTO Technology - Data Driven Company - SITB15OCTO Technology - Data Driven Company - SITB15
OCTO Technology - Data Driven Company - SITB15
 
BT_Evry_Présentation_des_technologies_05_03_15
BT_Evry_Présentation_des_technologies_05_03_15BT_Evry_Présentation_des_technologies_05_03_15
BT_Evry_Présentation_des_technologies_05_03_15
 
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
 
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
 
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictive
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictiveCwin16 - Paris - surveillance site_seveso_ analyse_prédictive
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictive
 
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivitéLe Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
 
Systemes autonomes photovoltaiques
Systemes autonomes photovoltaiquesSystemes autonomes photovoltaiques
Systemes autonomes photovoltaiques
 
3_cetim_maintenance 4.0_previsionnelle.pdf
3_cetim_maintenance 4.0_previsionnelle.pdf3_cetim_maintenance 4.0_previsionnelle.pdf
3_cetim_maintenance 4.0_previsionnelle.pdf
 
SATEL | Spie Batignolles énergie
SATEL | Spie Batignolles énergieSATEL | Spie Batignolles énergie
SATEL | Spie Batignolles énergie
 
Une perspective multi-source de données pour l'Intelligence Technologique
Une perspective multi-source de données pour l'Intelligence TechnologiqueUne perspective multi-source de données pour l'Intelligence Technologique
Une perspective multi-source de données pour l'Intelligence Technologique
 
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
 
Wavely predict brochure
Wavely predict brochureWavely predict brochure
Wavely predict brochure
 
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016
 
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
 
Une Data driven company à l'heure de la digitalisation
Une Data driven company à l'heure de la digitalisationUne Data driven company à l'heure de la digitalisation
Une Data driven company à l'heure de la digitalisation
 
Le Contr
Le ContrLe Contr
Le Contr
 
Témoignage NMP 15 11-2013
Témoignage NMP 15 11-2013Témoignage NMP 15 11-2013
Témoignage NMP 15 11-2013
 

Plus de OCTO Technology

OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Technology
 
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Technology
 
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Technology
 
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanComptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanOCTO Technology
 
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? OCTO Technology
 
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...OCTO Technology
 
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...OCTO Technology
 
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionLe Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionOCTO Technology
 
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...OCTO Technology
 
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...OCTO Technology
 
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...OCTO Technology
 
RefCard Tests sur tous les fronts
RefCard Tests sur tous les frontsRefCard Tests sur tous les fronts
RefCard Tests sur tous les frontsOCTO Technology
 
RefCard RESTful API Design
RefCard RESTful API DesignRefCard RESTful API Design
RefCard RESTful API DesignOCTO Technology
 
RefCard API Architecture Strategy
RefCard API Architecture StrategyRefCard API Architecture Strategy
RefCard API Architecture StrategyOCTO Technology
 
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du greenLA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du greenOCTO Technology
 
LA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverainLA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverainOCTO Technology
 
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutiveLA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutiveOCTO Technology
 
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bienLA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bienOCTO Technology
 
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...OCTO Technology
 

Plus de OCTO Technology (20)

OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeurs
 
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture Test
 
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend web
 
Refcard GraphQL
Refcard GraphQLRefcard GraphQL
Refcard GraphQL
 
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanComptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/Leaseplan
 
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
 
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
 
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
 
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionLe Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
 
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
 
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
 
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
 
RefCard Tests sur tous les fronts
RefCard Tests sur tous les frontsRefCard Tests sur tous les fronts
RefCard Tests sur tous les fronts
 
RefCard RESTful API Design
RefCard RESTful API DesignRefCard RESTful API Design
RefCard RESTful API Design
 
RefCard API Architecture Strategy
RefCard API Architecture StrategyRefCard API Architecture Strategy
RefCard API Architecture Strategy
 
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du greenLA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
 
LA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverainLA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverain
 
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutiveLA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
 
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bienLA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
 
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
 

La Duck Conf - "Mise en prod de la data science : le jour d'après"

  • 1. OCTO Part of Accenture Digital © 2020 - All rights reserved 1
  • 2. OCTO Part of Accenture Digital © 2020 - All rights reserved 2 Monitoring de systèmes de data science Un monde inexploré après leurs mises en production
  • 3. OCTO Part of Accenture Digital © 2020 - All rights reserved 3 Les speakers Mehdi HOUACINE Consultant Data Emmanuel-Lin TOULEMONDE Consultant Data
  • 4. OCTO Part of Accenture Digital © 2020 - All rights reserved  Vous êtes une association qui cherche à aider les patients épileptiques.  Votre mission : prédire l’arrivée d’une crise d’épilepsie 5 minutes avant!  Les patients portent des capteurs qui remontent des constantes utiles pour la prédiction.  Le patient met ses capteurs au lever et les retire le soir. 4 Votre mission si vous l’acceptez... Activité dermale Rythme cardiaque Respiration
  • 5. OCTO Part of Accenture Digital © 2020 - All rights reserved Nous avons :  Construit le prototype  Validé l’utilité  Tiré les flux  … Nos patients se servent de la solution 5 … nous sommes en production …
  • 6. OCTO Part of Accenture Digital © 2020 - All rights reserved 6 ... Mais de nombreux challenges nous attendent encore SPONSOR “J’ai investi des millions d’euros dans ce système. Est-ce que ça marche ? ” RÉGULATEUR “Je veux m’assurer que le modèle n’est pas biaisé envers certaines populations” UTILISATEUR “Je souhaite recevoir 1 prédiction avec au moins 5 minutes d’avance” DATA SCIENTIST “Je dois savoir si le modèle de machine Learning fonctionne bien en production”
  • 7. OCTO Part of Accenture Digital © 2020 - All rights reserved 7 Ces challenges ne peuvent être adressés directement Le comportement de notre système de data science doit être observé et suivi dans la durée pour cela Nous avons besoin de monitorer notre système (pas juste le modèle) !
  • 8. OCTO Part of Accenture Digital © 2020 - All rights reserved 8 L’intuition du data scientist … Traitement 1 Traitement 2 Traitement 3 Prédiction Moyenne Ecart-type𝝙 Min Max𝜎
  • 9. OCTO Part of Accenture Digital © 2020 - All rights reserved 9 … donne un dashboard illisible Nous sommes convaincu que le monitoring de distributions dans tous les sens est inefficace et coûteux
  • 10. T H E R E I S A B E T T E R W A Y Découpons le problème ! 01
  • 11. OCTO Part of Accenture Digital © 2020 - All rights reserved 11 On peut le monitorer “À FROID” On peut le monitorer “À CHAUD” Investigation en temps réel Indicateurs exposés immédiatement Information historisée Investigation a posteriori
  • 12. OCTO Part of Accenture Digital © 2020 - All rights reserved 12 Le système peut se comporter de façon déterministe mais aussi de façon non-déterministe
  • 13. OCTO Part of Accenture Digital © 2020 - All rights reserved 13 Le monitoring apporte du feedback à différentes vitesses Technique Données ROISLA / SLO
  • 14. OCTO Part of Accenture Digital © 2020 - All rights reserved 14 Le système peut être monitoré de façon technique Santé de la carte graphique (GPU) Consommation de la RAM
  • 15. OCTO Part of Accenture Digital © 2020 - All rights reserved Comprendre ce que les utilisateurs attendent réellement du service afin d’éviter les insatisfactions puis le monitorer. Service Licence Agreement | Objective Monitoring de service
  • 16. OCTO Part of Accenture Digital © 2020 - All rights reserved 16 On peut le monitorer par le prisme du coût ou du gain (financier)
  • 17. OCTO Part of Accenture Digital © 2020 - All rights reserved 17 Le monitoring des coûts / profits CONTRAINTES : 1. Récupérer la vérité 2. Être capable de valoriser une bonne prédiction SOLUTIONS : 1. Il faut toujours récupérer la vérité ! Cela peut-être long, mais il faut ! 2. Il est possible de prendre : ⦿ Des hypothèses ⦿ Des proxys : métrique data science, métrique métier
  • 18. OCTO Part of Accenture Digital © 2020 - All rights reserved 18 On peut le monitorer par le prisme de la donnée
  • 19. T H E R E I S A B E T T E R W A Y Une méthode pour identifier les sondes data 02
  • 20. OCTO Part of Accenture Digital © 2020 - All rights reserved 20 1ère étape : Tracer le pipeline Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Amélioration Inférence
  • 21. OCTO Part of Accenture Digital © 2020 - All rights reserved 21 2ème étape : Identifier les sources de non-déterminisme Stockage Annotation des crises Réentrainement Amélioration Inférence Sources de non-déterminisme ExpositionOn / Off Capture de signal Pre- processing Prédiction
  • 22. OCTO Part of Accenture Digital © 2020 - All rights reserved Non-déterministe car :  Le bouton On / Off est à la main du patient Propriété attendue :  Les capteurs sont allumés de 7h15 à 22h30 > Car ce sont les heures indiquées par le patient Sonde proposée :  Créneaux horaires où les capteurs sont allumés 22 Le On / Off
  • 23. OCTO Part of Accenture Digital © 2020 - All rights reserved 23 Prise de signal Non-déterministe car :  Le contenu du signal n’est pas maîtrisé par le système Propriété attendue :  Il doit y avoir un rythme cardiaque entre 50 et 180 bpm Sonde proposée :  Rythme cardiaque moyen par fenêtre glissantes de 60 sec
  • 24. OCTO Part of Accenture Digital © 2020 - All rights reserved 24 Annotation des signaux Non-déterministe car :  Des annotateurs peuvent avoir des avis divergents  Les annotateurs peuvent changer Propriété attendue :  Les signaux sont annotés par plusieurs annotateurs de manière similaire Sonde proposée :  Mesure de la variance d’annotation entre deux experts (ex : via Intersection over Union) IoU : 20% BAD t IoU : 75% GOOD t IoU : 97% EXCELLENT ! t
  • 25. OCTO Part of Accenture Digital © 2020 - All rights reserved 25 Réentrainement Non-déterministe car :  L’aléa est au cœur des algorithmes d’apprentissages Propriété attendue :  Performance au moins équivalente sinon meilleure au modèle déjà en production Méthode pour les monitorer :  Shadow production pour comparer les performances des modèles candidats par rapport au modèle déployé en production
  • 26. OCTO Part of Accenture Digital © 2020 - All rights reserved Non-déterministe car : Propriétés attendues : Méthode pour les monitorer : Il existe des problèmes  que l’on à pas réussi à formaliser,  que l’on a estimé peu probables,  ou que l’on a simplement pas identifié  La distribution des prédictions est stable dans le temps  Suivre la distribution des prédictions, en bout de pipeline 26 Une distribution monitorée par défaut : La voiture balais
  • 27. T H E R E I S A B E T T E R W A Y Des principes à respecter pour avoir des sondes utiles 03
  • 28. OCTO Part of Accenture Digital © 2020 - All rights reserved 28 Positionnement de la sonde Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Plus une sonde est loin dans le pipeline, plus elle est générique La prédiction n’est pas assez performante à cause de la prise de signal La prédiction n’est pas assez performante
  • 29. OCTO Part of Accenture Digital © 2020 - All rights reserved 29 Cohérence entre les sondes Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Lorsqu’une sonde lève une erreur à l’étape N mais qu’il n’y a pas de problèmes après : cette sonde mérite d’être challengée
  • 30. OCTO Part of Accenture Digital © 2020 - All rights reserved 30 Monitoring et temps de calculs Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Une sonde ne doit pas casser les SLA !
  • 31. OCTO Part of Accenture Digital © 2020 - All rights reserved 31 Critères de choix des sondes Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Seuls les aléas anticipables et probables méritent des sondes
  • 32. OCTO Part of Accenture Digital © 2020 - All rights reserved 32 Monitoring ou feature ? Stockage Annotation des crises Réentrainement Exposition 3 Capteurs ? Capture de signal Pre- processing Prédiction On / Off Si le besoin est critique, la sonde doit faire partie de l’application
  • 33. T H E R E I S A B E T T E R W A Y Conclusion 04
  • 34. OCTO Part of Accenture Digital © 2020 - All rights reserved 34 Notre dashboard final 85% Bonnes prédictions ON / OFF Rythme cardiaque Nombre de crises prédites IoU Shadow production
  • 35. OCTO Part of Accenture Digital © 2020 - All rights reserved 35 Take away 01 03 02 04 Tracer le pipeline Poser des sondes Challenger ces sondes Itérer !  Une fois en production, il faudra monitorer  Il y a 4 prismes de monitoring > Technique, SLA & SLO, data et ROI  La nouveauté, c’est le monitoring sur les données  Monitorer des distributions dans tous les sens est COÛTEUX ET INEFFICACE
  • 36. OCTO Part of Accenture Digital © 2020 - All rights reserved 36 Quelques pistes pour alimenter le backlog Et d’autres pistes pour aller plus loin Faire un atelier monitoring de systèmes de data science Mesurer et historiser les métriques identifiées Construire un Dashboard pour visualiser les sondes Donner accès au Dashboard aux parties prenantes Récolter du feedback ... POUR ALLER PLUS LOIN Se pencher sur l’alerting S’intéresser aux 3 piliers de l’observabilité …