Soumettre la recherche
Mettre en ligne
La Duck Conf - "Mise en prod de la data science : le jour d'après"
•
1 j'aime
•
271 vues
O
OCTO Technology
Suivre
Talk de Mehdi Houacine & Emmanuel-Lin Toulemonde (OCTO Technology)
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 37
Recommandé
Le Comptoir OCTO - Quoi de neuf pour vos apps mobiles ?
Le Comptoir OCTO - Quoi de neuf pour vos apps mobiles ?
OCTO Technology
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
OCTO Technology
Le Comptoir OCTO - Les nouvelles topologies du Cloud
Le Comptoir OCTO - Les nouvelles topologies du Cloud
OCTO Technology
Sensibilisation à l'Agile
Sensibilisation à l'Agile
OCTO Technology
Matinale OCTO - "Blockchain : comment s'orienter dans la désorientation"
Matinale OCTO - "Blockchain : comment s'orienter dans la désorientation"
OCTO Technology
Matinale : Ruche ou fourmilière, quel modèle pour votre passage à l’agilité à...
Matinale : Ruche ou fourmilière, quel modèle pour votre passage à l’agilité à...
OCTO Technology
Accelerate : la vitesse conditionne l'excellence
Accelerate : la vitesse conditionne l'excellence
OCTO Technology
La Duck Conf - "Kube is the new mainframe"
La Duck Conf - "Kube is the new mainframe"
OCTO Technology
Contenu connexe
Tendances
Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobile
Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobile
OCTO Technology
Le Comptoir OCTO - Réparez votre innovation
Le Comptoir OCTO - Réparez votre innovation
OCTO Technology
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
OCTO Technology
Le Comptoir OCTO - Data Science
Le Comptoir OCTO - Data Science
OCTO Technology
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
OCTO Technology
Le Comptoir : Les Chatbot stores en 2020
Le Comptoir : Les Chatbot stores en 2020
OCTO Technology
Matinale - Levez la malédiction du passage de l'IA en production
Matinale - Levez la malédiction du passage de l'IA en production
OCTO Technology
Kit Canvas
Kit Canvas
OCTO Technology
La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!
OCTO Technology
La Duck Conf - "L'API Management : au-délà des promesses"
La Duck Conf - "L'API Management : au-délà des promesses"
OCTO Technology
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
OCTO Technology
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
OCTO Technology
La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"
OCTO Technology
Présentation travail du stage
Présentation travail du stage
Taoufiq Bahalla
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
OCTO Technology
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti
OCTO Technology
Live academy #3 - Quels profils pour l'innovation
Live academy #3 - Quels profils pour l'innovation
Jerome Blanc
La Duck conf : "Hey ! Ton appli est elle GDPR ready"
La Duck conf : "Hey ! Ton appli est elle GDPR ready"
OCTO Technology
Le Comptoir OCTO - Data Science x RdvPermis
Le Comptoir OCTO - Data Science x RdvPermis
OCTO Technology
Le Comptoir OCTO - Accelerate @Cdiscount
Le Comptoir OCTO - Accelerate @Cdiscount
OCTO Technology
Tendances
(20)
Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobile
Le Lounge OCTO x Accenture - Offrir une expérience premium sur mobile
Le Comptoir OCTO - Réparez votre innovation
Le Comptoir OCTO - Réparez votre innovation
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
Le Comptoir OCTO - Data Science
Le Comptoir OCTO - Data Science
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
Le Comptoir : Les Chatbot stores en 2020
Le Comptoir : Les Chatbot stores en 2020
Matinale - Levez la malédiction du passage de l'IA en production
Matinale - Levez la malédiction du passage de l'IA en production
Kit Canvas
Kit Canvas
La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - "L'API Management : au-délà des promesses"
La Duck Conf - "L'API Management : au-délà des promesses"
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"
Présentation travail du stage
Présentation travail du stage
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti
Matinale Accelerate : la vitesse conditionne l'excellence by OCTO Chti
Live academy #3 - Quels profils pour l'innovation
Live academy #3 - Quels profils pour l'innovation
La Duck conf : "Hey ! Ton appli est elle GDPR ready"
La Duck conf : "Hey ! Ton appli est elle GDPR ready"
Le Comptoir OCTO - Data Science x RdvPermis
Le Comptoir OCTO - Data Science x RdvPermis
Le Comptoir OCTO - Accelerate @Cdiscount
Le Comptoir OCTO - Accelerate @Cdiscount
Similaire à La Duck Conf - "Mise en prod de la data science : le jour d'après"
Solaire control td
Solaire control td
fgaheneau
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
OCTO Technology Suisse
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
OCTO Technology
OCTO Technology - Data Driven Company - SITB15
OCTO Technology - Data Driven Company - SITB15
OCTO Technology Suisse
BT_Evry_Présentation_des_technologies_05_03_15
BT_Evry_Présentation_des_technologies_05_03_15
BoursesTechnos
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
cyrilpicat
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
OCTO Technology
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictive
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictive
Capgemini
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
OCTO Technology
Systemes autonomes photovoltaiques
Systemes autonomes photovoltaiques
CRESITT Industrie
3_cetim_maintenance 4.0_previsionnelle.pdf
3_cetim_maintenance 4.0_previsionnelle.pdf
faridOuanes
SATEL | Spie Batignolles énergie
SATEL | Spie Batignolles énergie
Jean DUMESNIL
Une perspective multi-source de données pour l'Intelligence Technologique
Une perspective multi-source de données pour l'Intelligence Technologique
VIA INNO
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Jerome Blanc
Wavely predict brochure
Wavely predict brochure
Nikos Christopoulos
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016
BoursesTechnos
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Laurent Dunys
Une Data driven company à l'heure de la digitalisation
Une Data driven company à l'heure de la digitalisation
Joseph Glorieux
Le Contr
Le Contr
ReportLinker.com
Témoignage NMP 15 11-2013
Témoignage NMP 15 11-2013
Enterprise Europe Network. CCI Lorraine
Similaire à La Duck Conf - "Mise en prod de la data science : le jour d'après"
(20)
Solaire control td
Solaire control td
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
OCTO Technology - Data Driven Company - SITB15
OCTO Technology - Data Driven Company - SITB15
BT_Evry_Présentation_des_technologies_05_03_15
BT_Evry_Présentation_des_technologies_05_03_15
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
SITB15 - Qu'est qu'une Data Driven Company à l'heure de la digitalisation ?
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictive
Cwin16 - Paris - surveillance site_seveso_ analyse_prédictive
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Systemes autonomes photovoltaiques
Systemes autonomes photovoltaiques
3_cetim_maintenance 4.0_previsionnelle.pdf
3_cetim_maintenance 4.0_previsionnelle.pdf
SATEL | Spie Batignolles énergie
SATEL | Spie Batignolles énergie
Une perspective multi-source de données pour l'Intelligence Technologique
Une perspective multi-source de données pour l'Intelligence Technologique
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Wavely predict brochure
Wavely predict brochure
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016
Bourse aux Technologies Industrie du Futur "Smart Manufacturing" du 22/03/2016
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Une Data driven company à l'heure de la digitalisation
Une Data driven company à l'heure de la digitalisation
Le Contr
Le Contr
Témoignage NMP 15 11-2013
Témoignage NMP 15 11-2013
Plus de OCTO Technology
OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Technology
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture Test
OCTO Technology
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Technology
Refcard GraphQL
Refcard GraphQL
OCTO Technology
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/Leaseplan
OCTO Technology
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
OCTO Technology
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
OCTO Technology
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
OCTO Technology
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
OCTO Technology
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
OCTO Technology
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
OCTO Technology
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
OCTO Technology
RefCard Tests sur tous les fronts
RefCard Tests sur tous les fronts
OCTO Technology
RefCard RESTful API Design
RefCard RESTful API Design
OCTO Technology
RefCard API Architecture Strategy
RefCard API Architecture Strategy
OCTO Technology
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
OCTO Technology
LA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverain
OCTO Technology
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
OCTO Technology
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
OCTO Technology
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
OCTO Technology
Plus de OCTO Technology
(20)
OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend web
Refcard GraphQL
Refcard GraphQL
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/Leaseplan
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
RefCard Tests sur tous les fronts
RefCard Tests sur tous les fronts
RefCard RESTful API Design
RefCard RESTful API Design
RefCard API Architecture Strategy
RefCard API Architecture Strategy
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
La Duck Conf - "Mise en prod de la data science : le jour d'après"
1.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 1
2.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 2 Monitoring de systèmes de data science Un monde inexploré après leurs mises en production
3.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 3 Les speakers Mehdi HOUACINE Consultant Data Emmanuel-Lin TOULEMONDE Consultant Data
4.
OCTO Part of
Accenture Digital © 2020 - All rights reserved Vous êtes une association qui cherche à aider les patients épileptiques. Votre mission : prédire l’arrivée d’une crise d’épilepsie 5 minutes avant! Les patients portent des capteurs qui remontent des constantes utiles pour la prédiction. Le patient met ses capteurs au lever et les retire le soir. 4 Votre mission si vous l’acceptez... Activité dermale Rythme cardiaque Respiration
5.
OCTO Part of
Accenture Digital © 2020 - All rights reserved Nous avons : Construit le prototype Validé l’utilité Tiré les flux … Nos patients se servent de la solution 5 … nous sommes en production …
6.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 6 ... Mais de nombreux challenges nous attendent encore SPONSOR “J’ai investi des millions d’euros dans ce système. Est-ce que ça marche ? ” RÉGULATEUR “Je veux m’assurer que le modèle n’est pas biaisé envers certaines populations” UTILISATEUR “Je souhaite recevoir 1 prédiction avec au moins 5 minutes d’avance” DATA SCIENTIST “Je dois savoir si le modèle de machine Learning fonctionne bien en production”
7.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 7 Ces challenges ne peuvent être adressés directement Le comportement de notre système de data science doit être observé et suivi dans la durée pour cela Nous avons besoin de monitorer notre système (pas juste le modèle) !
8.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 8 L’intuition du data scientist … Traitement 1 Traitement 2 Traitement 3 Prédiction Moyenne Ecart-type𝝙 Min Max𝜎
9.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 9 … donne un dashboard illisible Nous sommes convaincu que le monitoring de distributions dans tous les sens est inefficace et coûteux
10.
T H E
R E I S A B E T T E R W A Y Découpons le problème ! 01
11.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 11 On peut le monitorer “À FROID” On peut le monitorer “À CHAUD” Investigation en temps réel Indicateurs exposés immédiatement Information historisée Investigation a posteriori
12.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 12 Le système peut se comporter de façon déterministe mais aussi de façon non-déterministe
13.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 13 Le monitoring apporte du feedback à différentes vitesses Technique Données ROISLA / SLO
14.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 14 Le système peut être monitoré de façon technique Santé de la carte graphique (GPU) Consommation de la RAM
15.
OCTO Part of
Accenture Digital © 2020 - All rights reserved Comprendre ce que les utilisateurs attendent réellement du service afin d’éviter les insatisfactions puis le monitorer. Service Licence Agreement | Objective Monitoring de service
16.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 16 On peut le monitorer par le prisme du coût ou du gain (financier)
17.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 17 Le monitoring des coûts / profits CONTRAINTES : 1. Récupérer la vérité 2. Être capable de valoriser une bonne prédiction SOLUTIONS : 1. Il faut toujours récupérer la vérité ! Cela peut-être long, mais il faut ! 2. Il est possible de prendre : ⦿ Des hypothèses ⦿ Des proxys : métrique data science, métrique métier
18.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 18 On peut le monitorer par le prisme de la donnée
19.
T H E
R E I S A B E T T E R W A Y Une méthode pour identifier les sondes data 02
20.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 20 1ère étape : Tracer le pipeline Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Amélioration Inférence
21.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 21 2ème étape : Identifier les sources de non-déterminisme Stockage Annotation des crises Réentrainement Amélioration Inférence Sources de non-déterminisme ExpositionOn / Off Capture de signal Pre- processing Prédiction
22.
OCTO Part of
Accenture Digital © 2020 - All rights reserved Non-déterministe car : Le bouton On / Off est à la main du patient Propriété attendue : Les capteurs sont allumés de 7h15 à 22h30 > Car ce sont les heures indiquées par le patient Sonde proposée : Créneaux horaires où les capteurs sont allumés 22 Le On / Off
23.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 23 Prise de signal Non-déterministe car : Le contenu du signal n’est pas maîtrisé par le système Propriété attendue : Il doit y avoir un rythme cardiaque entre 50 et 180 bpm Sonde proposée : Rythme cardiaque moyen par fenêtre glissantes de 60 sec
24.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 24 Annotation des signaux Non-déterministe car : Des annotateurs peuvent avoir des avis divergents Les annotateurs peuvent changer Propriété attendue : Les signaux sont annotés par plusieurs annotateurs de manière similaire Sonde proposée : Mesure de la variance d’annotation entre deux experts (ex : via Intersection over Union) IoU : 20% BAD t IoU : 75% GOOD t IoU : 97% EXCELLENT ! t
25.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 25 Réentrainement Non-déterministe car : L’aléa est au cœur des algorithmes d’apprentissages Propriété attendue : Performance au moins équivalente sinon meilleure au modèle déjà en production Méthode pour les monitorer : Shadow production pour comparer les performances des modèles candidats par rapport au modèle déployé en production
26.
OCTO Part of
Accenture Digital © 2020 - All rights reserved Non-déterministe car : Propriétés attendues : Méthode pour les monitorer : Il existe des problèmes que l’on à pas réussi à formaliser, que l’on a estimé peu probables, ou que l’on a simplement pas identifié La distribution des prédictions est stable dans le temps Suivre la distribution des prédictions, en bout de pipeline 26 Une distribution monitorée par défaut : La voiture balais
27.
T H E
R E I S A B E T T E R W A Y Des principes à respecter pour avoir des sondes utiles 03
28.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 28 Positionnement de la sonde Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Plus une sonde est loin dans le pipeline, plus elle est générique La prédiction n’est pas assez performante à cause de la prise de signal La prédiction n’est pas assez performante
29.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 29 Cohérence entre les sondes Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Lorsqu’une sonde lève une erreur à l’étape N mais qu’il n’y a pas de problèmes après : cette sonde mérite d’être challengée
30.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 30 Monitoring et temps de calculs Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Une sonde ne doit pas casser les SLA !
31.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 31 Critères de choix des sondes Stockage Annotation des crises Réentrainement ExpositionOn / Off Capture de signal Pre- processing Prédiction Seuls les aléas anticipables et probables méritent des sondes
32.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 32 Monitoring ou feature ? Stockage Annotation des crises Réentrainement Exposition 3 Capteurs ? Capture de signal Pre- processing Prédiction On / Off Si le besoin est critique, la sonde doit faire partie de l’application
33.
T H E
R E I S A B E T T E R W A Y Conclusion 04
34.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 34 Notre dashboard final 85% Bonnes prédictions ON / OFF Rythme cardiaque Nombre de crises prédites IoU Shadow production
35.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 35 Take away 01 03 02 04 Tracer le pipeline Poser des sondes Challenger ces sondes Itérer ! Une fois en production, il faudra monitorer Il y a 4 prismes de monitoring > Technique, SLA & SLO, data et ROI La nouveauté, c’est le monitoring sur les données Monitorer des distributions dans tous les sens est COÛTEUX ET INEFFICACE
36.
OCTO Part of
Accenture Digital © 2020 - All rights reserved 36 Quelques pistes pour alimenter le backlog Et d’autres pistes pour aller plus loin Faire un atelier monitoring de systèmes de data science Mesurer et historiser les métriques identifiées Construire un Dashboard pour visualiser les sondes Donner accès au Dashboard aux parties prenantes Récolter du feedback ... POUR ALLER PLUS LOIN Se pencher sur l’alerting S’intéresser aux 3 piliers de l’observabilité …