Atelier Paris Web 2015 "Evaluer l'UX des méthodes simples mais efficaces" animé par Carine Lallemand et Guillaume Gronier

1. Évaluer l’UX : des méthodes simples mais efficaces !
Carine Lallemand
Université du Luxembourg
@carilall
Guillaume Gronier
Luxembourg Institute of Science and
Technology
@guillaumgronier
ATELIER PARIS WEB 2015

2. Carine
« J’étudie et développe
des méthodes de
conception et
d’évaluation de l’UX »
Travaille à l’Université de
Luxembourg
A réalisé une thèse sur les
méthodes de conception et
d’évaluation UX
Pratique la montgolfière
de compétition
Voyage partout, souvent

3. Travaille dans un centre de
recherche (LIST)
au Luxembourg
A réalisé une thèse sur la
conception collaborative
Pratique la voile
Voyage un peu, quelquefois
Guillaume
« Je conçois et évalue
des systèmes centrés
sur l’utilisateur »

4. Carine Lallemand
Guillaume Gronier
Méthodes
de design
30 MÉTHODES FONDAMENTALES POUR CONCEVOIR
ET ÉVALUER LES SYSTÈMES INTERACTIFS
DESIGN
32€
ConceptionNordCompo
SIGN
Articulant théorie et pratique, cet ouvrage présente 30 fiches
méthodologiques couvrant l’essentiel du design UX et de
l’ergonomie des interactions homme-machine (IHM). Vous serez
guidé pas à pas à travers les étapes de réalisation de chaque
méthode et accompagné pour prendre les décisions les plus
adaptées à votre projet. Chaque fiche méthode intègre égale-
ment une partie théorique et des illustrations concrètes pour
faciliter la compréhension.
Véritable portfolio théorique et méthodologique, cet ouvrage
est un guide indispensable à toute personne impliquée dans
la conception de systèmes
interactifs. Professionnels,
chefs de projets, étudiants,
enseignants et chercheurs
y trouveront de précieuses
ressources pour mener à
bien leurs projets.
Grâce aux méthodes d’UX
design, créez des produits et
des services qui attirent, qui
captivent, qui enchantent et
inspirent pour améliorer la
vie de ceux qui les utilisent !
AU SOMMAIRE
Introduction au design UX ⍟ Planification ⍟ Définition du projet ⍟ Recrute-
ment des utilisateurs ⍟ Déontologie et éthique ⍟ Exploration ⍟ Entretien ⍟
Focus group ⍟ Observation ⍟ Questionnaire exploratoire ⍟ Sondes culturelles
⍟ Idéation ⍟ Brainstorming ⍟ Cartes d’idéation ⍟ Design studio ⍟ Experience
maps ⍟ Personas ⍟ Techniques génératives ⍟ Génération ⍟ Design persuasif
⍟ Gamification ⍟ Iconographie ⍟ Maquettage ⍟ Storyboarding ⍟ Tri de cartes
⍟ Évaluation ⍟ Complétion de phrases ⍟ Courbes d’éva-
luation UX ⍟ Échelles d’utilisabilité ⍟ Échelles UX ⍟ Éva-
luation des émotions ⍟ Évaluation experte ⍟ Inspection
cognitive ⍟ Journal de bord UX ⍟ Test des 5 secondes ⍟
Tests utilisateurs
CodeG14143
ISBN978-2-212-14143-6
ucun ouvrage francophone
ne rassemble autant
de savoir-faire ! Simple,
pratique et pédagogique,
c’est LE guide essentiel
de l’UX au quotidien. »
Corinne Leulier,
Psychologue - Ergonome,
directrice UX chez Klee Group
« Ergonomie, psychologie,
énierie, design, sociologie,
ethnographie… Ce livre est
une formidable proposition
pragmatique, claire et
ualisée des méthodes pour
conception et l’évaluation
l’expérience utilisateur ! »
Julien Kahn,
responsable pôle ergonomie
chez Orange
Chercheur à l’université de Luxembourg,
Carine Lallemand est spécialisée dans les
méthodes de conception et d’évaluation
de l’expérience utilisateur (UX). Impliquée
depuis 2010 dans l’association FLUPA, elle
est également conférencière et enseigne
l’UX design.
Guillaume Gronier est chercheur ergo-
nome au Luxembourg Institute of Science
and Technology. Ses principales activités
portent sur l’amélioration de l’expérience
utilisateur, l’acceptation technologique
et l’implication des utilisateurs dans le
processus de conception. Il est l’un des
fondateurs de l’association FLUPA.
Méthodes de design UX
UXCarineLallemand
GuillaumeGronierMéthodesdedesignUX
Préface d’Alain Robillard-Bastien
Retrouvez les méthodes de
cet atelier (et 27 autres) dans
Méthodes de Design UX
Sortie début novembre 2015 dans
toutes les bonnes librairies

5. Que doit-on évaluer ? Les facteurs constitutifs de l’UX

6. Les facteurs constitutifs de l’UX
Contexte
Utilisateur Système

7. Les facteurs constitutifs de l’UX - Système
Qualités pragmatiques
Qualités hédoniques
Contexte
Utilisateur Système
Attractivité globale
Focus sur le produit
(utilité, utilisabilité, réalisation des tâches)
Focus sur le soi
(pourquoi on possède et on utilise un produit)
Stimulation, Evocation, Identité
Découle de l’évaluation des qualités hédoniques
et pragmatiques et donne naissance à des
comportements et émotions

8. Les facteurs constitutifs de l’UX - Contexte
Contexte Social
Contexte Technique
Contexte
Utilisateur Système
Contexte Temporel Contexte de la Tâche
Contexte Interne
Contexte Physique

9. Les facteurs constitutifs de l’UX - Utilisateur
Avant l’interaction = produit perçu
Pendant l’interaction = produit expérimenté
Contexte
Utilisateur Système
Après l’interaction = produit évalué
Attentes / Besoins / Expériences antérieures
Connaissances / Humeur
Motivation / Ressources / Etat mental
Compétences / Emotions / Humeur
Attractivité / Satisfaction / Comportement
Intention d’usage / Humeur

10. Le 4e facteur de l’UX

11. Dynamique temporelle de l’UX
L’expérience utilisateur après usage est une reconstruction mentale. Elle subit des biais cognitifs.
UX White Paper, 2010
Les différentes phases temporelles se superposent et s’intercalent, il n’y a pas de séquence fixe
entre anticipation et rappel de plusieurs périodes d’usage.
Avant usage
!
UX anticipée
!
Imaginer une
expérience
Pendant usage
!
UX momentanée
!
Vivre une expérience
Après usage
!
UX épisodique
!
Penser à une
expérience
A travers le temps
!
UX cumulative
!
Se souvenir de multiples
périodes d’usage

12. Concevoir et évaluer l’expérience temporelle
Souvent, nous considérons les produits que nous concevons et évaluons dans
leur contexte d’usage. Il faut aussi penser à l’objet dans le temps.
Contexte temporel
Après usageAvant usage
Un produit
fabriqué
Un produit
acheté Un produit
déballé
Un produit
utilisé
Un produit
aimé et adopté
Un produit qui
devient
obsolète
Un produit jeté
ou recyclé
Un produit
amélioré
Un produit
transmis à une
autre génération
L’accessoire
d’un produit
Kolko, 2014

13. Panorama des méthodes
d’évaluation UX
Découvrir l’existant

14. Type de méthode
Phase de développement Période de l’expérience
Evaluateur / Source

15. Type de méthode
Etudes de terrain
En laboratoire
Etudes online
Questionnaire

16. Evaluateur / Source
Experts
Utilisateurs
Groupes d’experts
Groupes d’utilisateurs

17. Phase de développement
Maquettes
Phase conceptuelle
Produits sur le marché
Prototypes fonctionnels

18. Période de l’expérience
Durant l’usage
Avant l’usage
Après l’usage

19. http://www.allaboutux.org/

20. Test des 5 secondes Evaluer la première impression

21. Qu’est-ce que la
première impression ?
• Le choix d’utiliser un système plutôt
qu’un autre que l’on découvre pour
la première fois repose sur plusieurs
critères dont la première
impression.
• La première impression est un
concept très fort en psychologie
sociale, mais peu étudié dans le
domaine des IHM.
• Elle intervient avant la phase
d’acceptation technologique (utilité
perçue, utilisabilité perçue, etc.), et y
contribue.

23. Contexte de l’étude
• Un foisonnement d’applis mobiles
avec des fonctionnalités similaires, et
de sites web proposant des contenus
identiques (produits, informations...).
• Selon une étude de Pinch Media
(2014), seules 20% des applications
pour smartphone téléchargées sont
encore utilisées le jour suivant. 30
jours après le téléchargement, ce
pourcentage tombe à 5%.
• On compte aujourd’hui :
• 1,43 million d’appli sur Google Play
• 1,21 million d’appli sur l’App Store

24. La première impression en psychologie sociale

25. Faire bonne
impression !
• Un mécanisme socio-
cognitif complexe
• Un processus subjectif
• Repose sur des éléments
centraux (i.e. le sourire, la
coiffure, la tenue
vestimentaire) et
périphériques (i.e. porter des
lunettes, la manucure, la
couleur de la cravate)

26. Faire bonne
impression !
Les concepts clés :
• les théories implicites de la
personnalité
• la formation d’impression
• l’effet de Halo
• Le biais de confirmation

27. Théories implicites de
la personnalité
• Nous nous forgeons une
impression globale d’une
personne à partir de
quelques caractéristiques
• La construction d’une
impression globale s’appuie
également sur ce que nous
attendons de la personne

28. La formation d’impression
Une expérience d’un psychologue : Asch (1946)
• 4 groupes doivent donner leur opinion d’une personne décrite à partir de 7
adjectifs. 1 seul adjectif est modifié entre les 4 groupes
Intelligent
habile
travailleur
chaleureux
déterminé
pratique
prudent
Intelligent
habile
travailleur
froid
déterminé
pratique
prudent
Intelligent
habile
travailleur
poli
déterminé
pratique
prudent
Intelligent
habile
travailleur
insensible
déterminé
pratique
prudent
Groupe 1 Groupe 2 Groupe 3 Groupe 4

29. L’effet de Halo
• L’effet de Halo consiste à
généraliser la première
impression que l’on a de
quelqu’un, à d’autres
caractéristiques que ceux
perçues
• Si la première impression est
favorable, la généralisation
est positive
• Si la première impression est
défavorable, la
généralisation est négative

30. L’effet de Halo en
psychologie sociale
L’expérience de Cliford (1975) :
• des enseignants doivent
décrire des enfants d’après
une photo sur plusieurs
dimensions (intelligence,
évaluation des chances de
succès à l’école, etc.)
• Résultats : un enfant jugé
«beau» est perçu par les
enseignants comme plus
intelligent et ayant plus de
chance de succès à l’école,
qu’un enfant jugé «laid».

31. Le biais de
confirmation
• Le biais de confirmation
d’hypothèse est la tendance à
chercher ou à interpréter
toute preuve comme étant en
faveur d'une croyance
préexistante
• A l’inverse, elle cherche à
ignorer ou réinterpréter tout
élément qui n'est pas
favorable à ces croyances

32. Pour résumer
Traits
(Informations)
Impression
générale
Inférence de
traits
Biais de
confirmation

33. La première impression
lors de la découverte d’un site web

34. La formation
d’impression en IHM
• La formation d’impression se
forge en 50 ms (Lindgaard et
Fernandes, 2006)
• La première impression se
construit à partir des éléments
graphiques et visuels (design de
la page)
• La formation d’impression
conditionne (effet de Halo) (Liu,
White & Dumais, 2010) :
• la crédibilité (Kim et
Fesenmaier, 2008)
• la facilitée d’utilisation perçue
(Raita & Oulasvirta, 2011)
• la loyauté de l’utilisateur
envers le système

35. Le biais de
confirmation en IHM
• Plus l’utilisateur s’attend à ce
qu’un site web soit facilement
utilisable, plus il évaluera
positivement l’utilisabilité de ce
site (Raita & Oulasvirta, 2011)
• Effet «screen-and-glean» (Liu,
White & Dumais, 2010):
• l’utilisateur explore tout
d’abord la page très
rapidement afin de s’en faire
une première impression
• il décide ensuite d’y rester ou
non pour rechercher plus
précisément les informations
qui seraient susceptibles de
l’intéresser

36. Favoriser la première
impression
Bonnardel et
al., 2011

37. Pour résumer
Eléments
graphiques
Impression
générale
Inférence des
caractéristique
Biais de
confirmation

38. Pour résumer
• Ce sont les éléments
graphiques qui sont à
privilégier (au moins au début
de l’interaction)
• La première impression
affecte directement
l’Expérience Utilisateur
• Le site web doit présenter
clairement ses objectifs
• La première impression
conditionne l’acceptation ou
non du site

39. Pour résumer
What is beautiful is usable*
(Tractinsky et al., 2000)
*Ce qui est beau est utilisable

40. Test des 5 secondes
Le test permet de mesurer la
première impression d’un site
web, en 5 secondes !

41. Le test des 5
secondes
Application !

42. Terminé !

43. Terminé !

44. Le test des 5
secondes
Application !

45. Terminé !

46. Terminé !

47. Le test des 5 secondes - Protocole
1. Afficher auprès de plusieurs utilisateurs l’écran d’un système (maquette HD,
capture d’écran...) pendant exactement 5 secondes.
2. Demander aux utilisateurs de répondre aux questions suivantes :
• De manière générale, quelle est votre impression vis-à-vis de ce système ?
Très mauvaise O O O O O Très bonne
• De manière générale, comment jugez-vous l’esthétisme de ce système ?
Très laid O O O O O Très beau
• Selon vous, quels sont les objectifs visés par ce système ?
• Quels éléments de l’interface avez-vous retenus (texte, logo, couleur,
image, menus…) ? Si possible, merci de les reproduire sur la feuille
blanche qui vous a été fournie.

48. Présentation et analyse des résultats

49. Présentation et analyse des résultats
0
1
3
8
3
0
1
2
3
4
5
6
7
8
9
Très laid
Laid
Ni laid ni beau
Beau
Très beau
Dispersion des réponses des 5 utilisateurs concernant
leur jugement de l'esthétisme du système
0
0
3
9
3
0
1
2
3
4
5
6
7
8
9
10
Très mauvaise
Mauvaise
Moyenne
Bonne
Très bonne
Dispersion des réponses des 5 utilisateurs concernant
leur impression vis-à-vis du système

50. Le test des 5 secondes
Avantages de la méthode :
• en ne s’intéressant qu’aux aspects visuels de l’interface, il est possible de
tester une maquette statique (image)
• prend peu de temps (environ 2 minutes par utilisateur)
• le test sur prototype permet ainsi de valider les pages d’un site dès les
premières phases de leur conception
Limites de la méthode :
• lorsque la page est trop chargée d’informations (comme une page
d’accueil qui peut servir une multitude d’objectifs), sa consultation peut
nécessiter de prendre plus de 5 secondes. Les résultats recueillis auprès
de l’utilisateur peuvent donc être incomplets

51. Le questionnaire UX
AttrakDiff
Une mesure standardisée de l’UX

52. Les questionnaires standardisés
Ensemble de questions présentées dans un ordre
spécifique, selon un format spécifique, et suivant des règles
spécifiques pour produire des métriques basées sur les
réponses des participants
Les questionnaires standardisés ont des qualités
psychométriques (validité, fidélité)
Les questionnaires « fait maison » peuvent quant à eux
poser problème au niveau de leur qualité et leur capacité à
mesurer le construit visé.

53. Le modèle de l’UX d’Hassenzahl
Pour Hassenzahl, les gens perçoivent les produits interactifs selon
deux dimensions :
Qualités
pragmatiques
Qualités
hédoniques
Capacité à soutenir l’accomplissement de « do-goals »
Focus sur le produit (utilité, utilisabilité, réalisation des
tâches)
Exemples « do-goals » : passer un appel, trouver un livre dans une
librairie online, commander un article
Capacité à soutenir l’accomplissement de « be-goals »
Focus sur le Soi (pourquoi on possède et on utilise un
produit particulier ?)
Exemples « be-goals » : être compétent, être en relation avec les
autres, être spécial,…

54. Modèle d’Hassenzahl (2003)
Ce
modèle
théorique
illustre
comment
les
qualités
pragmatiques
et
hédoniques
in6luencent
la
perception
subjective
de
l'attractivité
donnant
naissance
à
des
comportements
et
des
émotions.
Caractéristiques du
produit
Contenu
Présentation
Fonctionnalité
Interaction
Caractère particulier visé
Attributs pragmatiques
Manipulation
Attributs hédoniques
Stimulation
Identification
Évocation
Conséquences
Attrait
Plaisir
Satisfaction
Point de vue du concepteur
Point de vue de l’utilisateur
Caractéristiques du
produit
Contenu
Présentation
Fonctionnalité
Situation
Interaction
Caractère apparent du produit
Attributs pragmatiques
Manipulation
Attributs hédoniques
Stimulation
Identification
Évocation
Conséquences
Attrait
Plaisir
Satisfaction
(©
User
Interface
Design
GmbH).
http://attrakdiff.de/sience-­‐en.html

55. Le questionnaire AttrakDiff
Développé en allemand par une technique de génération
participative d’items par des experts
Evalue les qualités pragmatiques et hédoniques des systèmes
interactifs
Composé de 28 items
• 7 items pour les aspects pragmatiques
• 7 items pour les aspects hédoniques - identification
• 7 items pour les aspects hédoniques - stimulation
• 7 items pour l’évaluation de l’attractivité
10 items en version abrégée

56. Types d’évaluation AttrakDiff
Evaluation unique : adaptée pour une évaluation unique ou
temporaire d’un produit ou système
Comparaison avant-après : ce type d’évaluation permet de tester le
produit 2x : avant et après l’implémentation de changements. Vous
aurez ainsi un résumé détaillé des effets des changements.
Comparaison Produit A - Produit B : ce type d’évaluation implique
deux produits qui sont évalués et comparés. Vous serez en mesure
de voir comment les utilisateurs perçoivent les différents produits.

57. Exercice pratique
passation et
scoring AttrakDiff
Sous-échelle Items (dans l’ordre de passation)
QP_1 Humain Technique
QHI_1 M’isole Me sociabilise
ATT_1 Plaisant Déplaisant
QHS_1 Original Conventionnel
QP_2 Simple Compliqué
QHI_2 Professionnel Amateur
ATT_2 Laid Beau
QP_3 Pratique Pas pratique
ATT_3 Agréable Désagreable
QP_4 Fastidieux
QHI_3 De bon goût De mauvais goût
QP_5 Prévisible Imprévisible
QHI_4 Bas de gamme Haut de gamme
QHI_5 M’exclut M’intègre
QHI_6 Me rapproche des autres Me sépare des autres
QHI_7 Non présentable Présentable
ATT_4 Rebutant Attirant
QHS_2 Sans imagination Créatif
ATT_5 Bon Mauvais
QP_6 Confus Clair
ATT_6 Repoussant Attrayant
QHS_3 Audacieux Prudent
QHS_4 Novateur Conservateur
QHS_5 Ennuyeux Captivant
QHS_6 Peu exigeant Challenging
ATT_7 Motivant Décourageant
QHS_7 Nouveau Commun
QP_7 Incontrôlable Maîtrisable
Note : Les items QP_1, ATT_1, QHS_1, QP_2, QHI_2, QP_3, ATT_3, QHI_3, QP_5, QHI_6, ATT_5, QHS_3, QHS_4, ATT_7 et QHS_7 sont inversés.

58. Codage des items
Echelle Qualité Pragmatique (QP)
Item - 3 - 2 -1 0 + 1 + 2 + 3
QP1* Humain ☐ ☐ ☐ ☐ ☐ ☐ ☐ Technique
QP2* Simple ☐ ☐ ☐ ☐ ☐ ☐ ☐ Compliqué
QP3* Pratique ☐ ☐ ☐ ☐ ☐ ☐ ☐ Pas pratique
QP4 Fastidieux ☐ ☐ ☐ ☐ ☐ ☐ ☐ Efficace
QP5* Prévisible ☐ ☐ ☐ ☐ ☐ ☐ ☐ Imprévisible
QP6 Confus ☐ ☐ ☐ ☐ ☐ ☐ ☐ Clair
QP7 Incontrôlable ☐ ☐ ☐ ☐ ☐ ☐ ☐ Maîtrisable

59. Représentation des résultats
Graphique des paires de mots
Technique - Humain
Compliqué - Simple
Pas pratique - Pratique
Fastidieux - Efficace
Imprévisible - Prévisible
Confus - Clair
Incontrôlable - Maîtrisable
Conventionnel - Original
Sans imagination - Créatif
Prudent - Audacieux
Conservateur - Novateur
Ennuyeux - Captivant
Peu exigeant - Challenging
Commun - Nouveau
M'isole - Me sociabilise
Amateur - Professionnel
De mauvais goût - De bon goût
Bas de gamme - Haut de gamme
M'exclut - M'intègre
Me sépare des autres - Me rapproche des autres
Non présentable - Présentable
Déplaisant - Plaisant
Laid - Beau
Désagréable - Agréable
Rebutant - Attirant
Mauvais - Bon
Repoussant - Attrayant
Décourageant - Motivant
Qualité
pragmatique
Qualité
hédonique-
stimulation
Qualité
hédonique-
identification
Attractivité
globale
-3 -2 -1 0 1 2 3
Diagramme des valeurs moyennes
1,2
-1,35
1,9
1,5
-3
-2
-1
0
1
2
3
QP
QHS
QHI
ATT
Valeurmoyenne
Dimension

60. Représentation des résultats
qualité pragmatique
qualitéhédonique
0
-3
-3
3
3
trop
orienté
vers le soi
orienté
vers le soi
désiré
neutre
superflu
orienté
tâche
trop
orienté
tâche
Légende
Intervalle de confiance
Score à l’AttrakDiff
Portfolio des résultats

61. AttrakDiff utilisé dans une étude longitudinale
0"
1"
2"
3"
4"
5"
6"
7"
1" 2" 3" 4" 5" 6" 7" 8" 9" 10"
Score&à&l'A+rakDiff&
Jour&
Qualité"hédonique"
Qualité"pragma=que"
Évalua=on"globale"

62. Courbes
d’évaluation UX
Etudier la dynamique temporelle de l’UX

63. Maintenir un usage
prolongé : un enjeu actuel
Les systèmes et produits sont de
plus en plus intégrés sous forme
de services
Le focus passe donc de favoriser
l’acceptance initiale (l’achat) à
maintenir un usage prolongé !
De nombreux projets appellent
désormais des études
longitudinales de l’UX
Plus l’impact envisagé sur
l’expérience des gens et leurs
pratiques sociales est ambitieux,
plus le besoin est fort d’étudier
l’UX sur de longues périodes

64. Temporalité de l’UX
Modèle de Karapanos
Attentes
Anticipation
Attentes
Orientation
Identification
Incorporation
StimulationApprenabilité
PersonnelSocial
Utilisabilité à long terme
Utilité
Expérience
Jugem
ent
L’anticipation d’une expérience
donne lieu à des attentes.
Les expériences initiales sont
dominées par les sentiments
d’excitation et de frustration
au fur et à mesure que l’utilisateur
expérimente de nouvelles
fonctionnalités et rencontre
des problèmes d’apprenabilité.
Le produit commence à prendre du sens dans le quotidien.
L’utilisabilité à long terme devient ici plus importante
que l’apprenabilité initiale et l’utilité du produit
devient le facteur majeur impactant les jugements d’évaluation.
Le produit est accepté dans la vie,
il contribue aux interactions sociales,
communique des parts
de l’identité de l’utilisateur,
qui le différencient
ou le rapprochent des autres.
Familiarité
Attachementémotionnel
Dépendance fonctionnelle
Extrait de Lallemand et Gronier, 2015

65. Evaluer l’UX à long terme : paradigmes possibles
Transversal
Longitudinal
Mesures répétées
Rétrospectif
Karapanos, Martens & Hassenzahl, 2010

66. Approche
constructiviste
La reconstruction en mémoire se
fait dans un ordre temporel
chronologique
Le rappel d’un évènement sert
d’indice à la reconstruction
d’autres évènements et apporte
des détails contextuels
L’expérience émotionnelle ne peut
être ni stockée ni récupérée en
mémoire.
Elle peut être reconstruite sur base
des indices contextuels rappelés.
Exemple :
Le souvenir de vos dernières vacances

67. Validité et fiabilité des méthodes rétrospectives
A quel point ces données rétrospectives souffrent-elles de biais liés à la
mémoire ?
Le côté véridique et réaliste (validité) des expériences reconstruites est
finalement peu important car ces « souvenirs »
• vont guider les comportements ultérieurs des individus
• vont être communiqués à autrui
En revanche, il est important que ces méthodes soient fiables : Il
importe peu que ce dont on se souvient diffère de ce que nous avons
vécu tant que ces souvenirs sont consistants à travers de multiples
rappels, alors ils donnent une information pertinente.

68. L’évaluation
rétrospective
Réalisée en situation d’entretien
S’adresse à des utilisateurs
« experts » (ayant utilisé le produit
depuis plusieurs mois / années)
Etudie l’UX à travers le temps selon
plusieurs dimensions : utilité,
utilisabilité, stimulation, beauté,
identité, attractivité…
2 types de données recueillies :
- des rapports d’expériences
expliquant les changements de l’UX
à travers le temps
- un pattern de changement
remémoré sous forme de courbe

69. Comment évaluer l’UX à l’aide de courbes ?
Procédure globale
Au moment présent, comment
évaluez vous l’utilisabilité de votre
produit sur une échelle de 0 (pas
du tout) à 10 (extrêmement) ?
Au début de l’usage, comment
évaluiez vous l’utilisabilité de
votre produit sur une échelle de 0
(pas du tout) à 10
(extrêmement) ?
Si les deux évaluation diffèrent,
alors on explore la forme de la
courbe et les incidents éventuels.
Exemple étude sur téléphones mobiles (n=8)

70. :

71. Exercice pratique
UX Curve
• Vise à aider les utilisateurs à
rapporter rétrospectivement
comment et pourquoi leur
expérience avec un produit a
changé au fil du temps
• Plusieurs types de courbes :
• UX générale
• Attractivité
• Facilité d’usage
• Utilité
• Volume d’usage

73. Analyse des courbes
• Si tracé des courbes sur papier, la première tâche est de transférer les
données sous format électronique.
• Catégorisez les courbes selon 3 tendances :
• amélioration (point d’arrivée plus haut que celui de départ sur l’axe
vertical),
• détérioration (point d’arrivée plus bas que départ)
• stabilité.
• Représentez séparément les courbes montrant une amélioration de l’UX et
celles qui montrent une détérioration ou stabilité.
• Chaque courbe est nommée selon l’identifiant du participant, afin de pouvoir
la lier au rapport d’expérience correspondant.

74. Représentation courbes d’amélioration
Fig. 4. The deteriorating and stable general UX Curves with user IDs.
Fig. 5. The improving Attractiveness curves with user IDs. Fig. 8

75. Représentation courbes détérioration ou stabilité
Fig. 5. The improving Attractiveness curves with user IDs.
Fig. 6. The deteriorating and stable Attractiveness curves with user IDs.

76. Représentation courbes moyennes
Ensuite, on crée des courbes moyennes d’amélioration et de détérioration
basées sur les moyennes des courbes individuelles de chaque catégorie
Mean attractiveness curves
8

77. Analyse des rapports
d’expérience
• Les commentaires et
annotations des participants au
sujet de leurs expériences font
l’objet d’une analyse de
contenu.
• On les regroupe généralement
par dimension étudiées et par
valence (distinction négatif,
positif, ambivalent)
• On crée ensuite des catégories
de facteurs similaires que l’on
peut représenter visuellement
sur un graphique ou nuage de
mots.

78. IScale - http://www.iscale.nl/
Karapanos et al.

79. Merci de votre attention !
Commentaires ?
Questions ?
Suggestions ?
carine.lallemand@gmail.com
@carilall
guillaume.gronier@gmail.com
@guillaumgronier

80. Références
Karapanos, E., Martens, J.-B., Hassenzahl, M. (2012) Reconstructing Experiences with iScale. International Journal of Human-Computer Studies, 70
(11), pp. 849-865, http://dx.doi.org/10.1016/j.ijhcs.2012.06.004
Karapanos, E., Zimmerman, J., Forlizzi, J., & Martens, J. (2010). Measuring the Dynamics of Remembered Experience Over Time. Interacting with
Computers, 22 (5), doi: 10.1016/j.intcom.2010.04.003
Karapanos, E., Martens, J.-B., Hassenzahl, M. (2010) On the Retrospective Assessment of Users’ Experiences Over Time: Memory or Actuality?.
CHI’10 extended abstracts on Human factors in computing systems. Atlanta, ACM Press.
Karapanos E., Zimmerman J., Forlizzi J., Martens J.-B. User Experience Over Time: An Initial Framework, In Proceedings of the 27th international
Conference on Human Factors in Computing Systems (Boston, MA, USA, April 04 – 09, 2009). CHI’09. ACM, New York, NY, 729-738. DOI= http://
doi.acm.org/10.1145/1518701.1518814
Hassenzahl, Marc (2013): User Experience and Experience Design. In: Soegaard, Mads and Dam, Rikke Friis (eds.). "The Encyclopedia of Human-
Computer Interaction, 2nd Ed.". Aarhus, Denmark: The Interaction Design Foundation.
Hassenzahl, M., Burmester, M., Koller, F. (2003) AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität.
In: Ziegler, J., Szwillus, G. (eds.) Mensch & Computer 2003. Interaktion in Bewegung, pp. 187–196. B.G. Teubner, Stuttgart. / AttrakDiff. Internet
Resource http://www.attrakdiff.de.
Hassenzahl, M. (2003). The thing and I: Understanding the relationship between user and product. In M. A. Blyth, A. F. Monk, K. Overbeeke, & P. C.
Wright (Eds.), Funology: From usability to enjoyment, 1-12 (chap. 3). Kluwer Academic Publishers.
Kujala, S., Roto, V., Vaananen-Vainio-Mattila, K., Karapanos, E., Sinnela, A.: UX Curve: A Method for Evaluating Long-Term User Experience.
Interacting with Computers (2011). http://dx.doi.org/10.1016/j.intcom.2011.06.005
Lallemand, C., Koenig, V., & Gronier, G. (soumis) Création et validation d’une version française du questionnaire AttrakDiff pour l’évaluation de
l’expérience utilisateur des systèmes interactifs.
Roto, V., Law, E., Vermeeren, A., & Hoonhout, J. (2011). User Experience White Paper: Bringing clarity to the concept of user experience. Result
from Dagstuhl Seminar on Demarcating User Experience, Finland.
von Wilamowitz-Moellendorff, M., Hassenzahl, M., and Platz, A. (2006). Dynamics of user experience: How the perceived quality of mobile phones
changes over time. In User Experience - Towards a unified view, Workshop at the 4th Nordic Conference on Human-Computer Interaction, pp.
74-78.