XIV Jornadas Latinoamericanas de Agilidad: Un canal para conectar y transformar el corazón de la comunidad Midiendo la estrategia de producto en las organizaciones Víctor García En los últimos años, dos modelos se han vuelto populares para medir el progreso de una estrategia de producto: Outputs, outcomes & impact. Objective & Key Results. Los indicadores basados en la experiencia de usuario deben ser parte de cualquiera de estos modelos para ser realmente transversales. Seguramente, en alguna ocasión has utilizado o escuchado hablar del concepto “outcomes over outputs”, una expresión que se volvió relativamente popular a partir del libro precisamente con ese título publicado por Josh Seiden. Tanto Seiden como Jeff Gothelf incorporan el concepto de outcomes en el ciclo Lean UX. Jeff Patton en el libro User Story Mapping, también describe la diferencia entre outputs, outcomes & impact en el contexto de desarrollo ágil de software. Tanto Patton como Gothelf, plantean, la misma premisa básica sobre el concepto de outputs y outcomes, que proviene del esquema Program Logic Model. En esta plática, identificaremos cómo los indicadores de experiencia de usuario representan la evidencia empírica de los outcomes; primero, en el corto plazo, centrados principalmente en aspectos actitudinales (leading indicators) y en el largo plazo centrados en aspectos completamente de comportamiento (lagging indicators). También alinearemos los leading y lagging indicators de los outcomes como Resultados Clave a observar a través del tiempo y el impacto para la organización como un Objetivo último a conseguir. Esta representación particular no es otra cosa más que el modelo que conocemos como OKRs.

2. Midiendo la estrategia
de producto
en las organizaciones

3. ¡Hola!
Design & UX Discipline Manager en BBVA México
Instructor en Crehana, Future_Is, Aprende UX, Needed Education y Scrum México
Profesor en EBC · División de Educación Corporativa, ITAM · Extensión Universitaria y Desarrollo Ejecutivo y Escuela Bolsa Mexicana
Parte de UXPA México, UX Nights y Ágiles México
Víctor García

4. Agenda
01 Antes de empezar
02 Midiendo el progreso de la estrategia de producto
03 Outcomes over outputs
04 Objective and Key Results
05 Usability framework
06 Recomendaciones para implementación en Scrum
07 Antes de despedirnos

5. Antes de empezar

6. Check-in
¿Qué es una medición?

7. 5 minutos, ¿es poco o
mucho tiempo?

10. Midiendo el progreso de la
estrategia de producto

11. — Roman Pichler
“To find out if your product is mature, you should track its
performance. To do so, you must be clear on the value it
creates for the users and business”.

12. Fuente: https://blog.crisp.se/2016/01/25/henrikkniberg/making-sense-of-mvp#more-7646
Fig. Descripción del desarrollo de producto, utilizando un auto como metáfora.

13. MEDIR
CREAR
APRENDER
DATOS
IDEAS
PRODUCTO
Fuente: Ries, E. (2011). The Lean Startup (Illustrated ed.). Currency.

14. — Eric Ries
“
Por muy bien que estén planteados los experimentos que pongan a
prueba nuestras hipótesis, si no se utilizan los indicadores correctos
para evaluar las conclusiones, será un desperdicio de tiempo. Hay que
diferenciar entre indicadores vanidosos e indicadores accionables”.

15. Un indicador accionable es aquel que nos permita
observar y medir el cambio de comportamiento del
usuario que apunte a un impacto para la organización

16. Indicadores
basados en la experiencia
Modelos para la gestión
ágil de producto
Usability framework
Google’s HEART framework
Forrester’s CX Index
AARRR framework
Lean Analytics
Outputs, outcomes & impact
Objective & Key Results

17. Outcomes over outputs

18. Josh Seiden Jeff Gothelf Jeff Patton
“Outcomes over outputs” “Outcomes, assumptions, hypotheses”
(Lean UX)
“Outputs, outcomes & impact”
(User Story Mapping)
Program Logic Model
(WK Kellogg Foundation, Logic Model Development Guide)

19. Inputs /
Resources
Activities Outputs Outcomes Impact
Se necesitan ciertos
recursos para operar el
programa
Si se tiene acceso a los
recursos, entonces se
pueden utilizar para
realizar las actividades
planificadas
Si se logran las
actividades
planificadas, entonces
es de esperar que se
entregue la cantidad de
producto y/o servicio
que se pretendía
Si se logran las
actividades
planificadas en el
grado deseado, las
personas obtendrán
ciertos beneficios
Si se logran estos
beneficios para las
personas, se puede
esperar que ocurran
ciertos cambios en las
organizaciones,
comunidades o
sistemas
Trabajo planificado
1
1 2 3 4 5
Resultados previstos
Fig. Logic Model (W.K. Foundation).
Fuente: W.K. Kellogg Foundation. (2004). Logic Model Development Guide. Using Logic Models to Bring Together Planning, Evaluation, and Action [Libro electrónico]. W.K. Kellogg Foundation.

20. Fig. “Minimize output, and maximize outcome and impact” (Jeff Patton).
Fuente: Patton, J., & Economy, P. (2014). User Story Mapping. O’Reilly.

21. Fig. Lean UX (Jeff Gothelf).
Fuente: Gothelf, J., & Seiden, J. (2016). Lean UX: Designing Great Products with Agile Teams (2nd ed.). O’Reilly Media.

22. Fig. “Outcomes over outputs” (Josh Seiden).
Fuente: https://uxdesign.cc/how-to-measure-progress-with-outcomes-985fb118fb5/
Inputs /
Resources
Activities Outputs Outcomes Impact
Empleados, tiempo,
dinero
El trabajo que ellos
hacen
Una nueva
funcionalidad del
producto
Lo que las personas
hacen con la
funcionalidad
El resultado que eso
genera
Los equipos de ejecución se centran aquí
Los líderes tienden a
centrarse aquí
El área perdida

23. — Josh Seiden
“
Outcomes are the human behaviors that drive business
results. Defining outcomes in terms of customer
behaviors creates a more user-centric way of working”.

24. Fig. Leading & lagging indicators.
Fuente: Seiden, J. (2019). Outcomes Over Output: Why customer behavior is the key metric for business success. Sense and Respond Press.
Medium term Long term
Leading indicators
Resultados que predicen si el objetivo se conseguirá o no
Miran hacia adelante
Lagging indicators
Objetivo conseguido
Miran hacia atrás
Outputs
Short term
Outcomes & Impact

25. Indicadores
basados en la experiencia
Medium term Long term
Leading indicators
Resultados que predicen si el objetivo se conseguirá o no
Lagging indicators
Objetivo conseguido
Short term
Outcomes & Impact
Beneficio para
la organización
+

26. Objective and Key Results

27. Objective & Key Results
Definición
• Se trata de un protocolo de colaboración para establecer objetivos en
empresas, equipos e individuos.
• Nos ayuda a asegurar que la empresa se centra en los mismos temas
importantes en toda la organización.

28. Objetivos
Definición
Los objetivos son el QUÉ:
• Expresan intenciones. Son agresivos, pero realistas.
• Tienen que ser tangibles, imparciales e inequívocos; si el objetivo se ha
cumplido, tiene que resultar obvio para un observador racional.
• La consecución exitosa de un objetivo debe proporcionar un valor claro a la
organización.

29. Resultados Clave
Definición
Los resultados clave son el CÓMO:
• Expresan hitos en el camino que, en caso de alcanzarse, harán que el objetivo
progrese de manera útil para quienes están involucrados en él.
• Deben describir resultados, no actividades.
• Deben incluir evidencias de su consecución. Esta prueba ha de estar disponible,
ser creíble y fácilmente localizable.

30. Así como un Objetivo perdura en el tiempo,
los Resultados Clave evolucionan a medida
que el trabajo progresa.

31. OBJETIVO
Dónde
estamos hoy
RESULTADOS
CLAVE
PERIODO DE TIEMPO
Medición Medición
RESULTADOS
CLAVE

32. Fig. Los OKRs pueden mejorarse si los Key Results son expresados como un outcome.
Fuente: Seiden, J. (2019). Outcomes Over Output: Why customer behavior is the key metric for business success. Sense and Respond Press.
Medium term Long term
Leading indicators
Resultados que predicen si el objetivo se conseguirá o no
KEY RESULTS
Lagging indicators
Objetivo conseguido
OBJECTIVE
Outputs
Short term
Outcomes & Impact

33. Indicadores
basados en la experiencia
Medium term Long term
Short term
Outcomes & Impact
Leading indicators
Resultados que predicen si el objetivo se conseguirá o no
KEY RESULTS
Lagging indicators
Objetivo conseguido
OBJECTIVE
Indicadores actitudinales Indicadores de comportamiento
Beneficio para
la organización
+

34. Usability framework

35. Usabilidad
Definición (ISO 9241-11:2018)
• Grado en el que un sistema, producto o servicio puede ser utilizado por
usuarios específicos para lograr objetivos específicos con eficacia, eficiencia
y satisfacción en un contexto de uso específico.
• Nota 1: Los usuarios, objetivos y contexto de uso “específicos” se refieren a la combinación particular
de usuarios, objetivos y contexto de uso para los que se está considerando la usabilidad.
• Nota 2: La palabra "usabilidad" también se usa como calificativo para referirse al conocimiento de
diseño, competencias, actividades y atributos de diseño que contribuyen a la usabilidad, como
experiencia en usabilidad, usabilidad profesional, ingeniería de usabilidad, método de usabilidad,
evaluación de usabilidad , heurística de usabilidad.

36. Users
Resources
System,
Product,
or Service
Goals & Tasks
Environment
Context of use
Outcomes of use
Usability
Use
Other outcomes
• Accessibility
• User Experience
• Avoidance of
harm from use
• Etc.
Effectiveness
Efficiency
Satisfaction
Fig. Usability framework.
Fuente: ISO 9241-11:2018 Ergonomics of human-system interaction — Part 11: Usability: Definitions and concepts.

37. OUTCOME OF USE
RETROALIMENTACIÓN CUANTITATIVA
PERFORMANCE DATA PREFERENCE DATA
Eficacia
• Tasa de tareas realizadas con éxito
• Tasa de abandono de tareas
Eficiencia
• Tiempo de ejecución de tarea
• Tasa de asistencias
• Tasa de errores
• Número de clics
• Capacidad de aprendizaje
Satisfacción —
• Pre-test questionnaire
• Post-task questionnaire
• Post-test questionnaire
Tabla. Retroalimentación cuantitativa en un estudio de usabilidad.

38. Fig. Ejemplo de performance data, tasa de tareas realizadas con éxito.
Tasa de tareas realizadas con éxito: 68,1%

39. ¿Qué tan de acuerdo o en desacuerdo estás con la siguiente
expresión?
“Creo que usaría esta app frecuentemente”.
Fig. Ejemplo de preference data, pregunta de un cuestionario post-test.

40. OUTCOME OF USE
RETROALIMENTACIÓN CUALITATIVA
PERFORMANCE DATA PREFERENCE DATA
Eficacia —
• Comunicación verbal:
• Think aloud.
• Respuestas a preguntas abiertas.
• Exclamaciones espontáneas.
• Comunicación no verbal:
• Expresiones faciales.
• Lenguaje corporal.
Eficiencia —
Satisfacción —
Tabla. Retroalimentación cualitativa en un estudio de usabilidad.

41. Fig. Ejemplo de preference data, comunicación verbal.

42. Indicadores
basados en la experiencia
Medium term Long term
Short term
Outcomes & Impact
Leading indicators
Resultados que predicen si el objetivo se conseguirá o no
KEY RESULTS
Lagging indicators
Objetivo conseguido
OBJECTIVE
Indicadores actitudinales Indicadores de comportamiento
Beneficio para
la organización
+
Tasa de tareas realizadas con éxito
Tasa de abandono de tareas
Tiempo de ejecución de tarea
Tasa de asistencias
Tasa de errores
Número de clics
Capacidad de aprendizaje
Pre-test questionnaire
Post-task questionnaire (SEQ)
Post-test questionnaire (SUS, TAM)
Think aloud.
Respuestas a preguntas abiertas.
Exclamaciones espontáneas.
Comunicación no verbal.

43. Indicadores
basados en la experiencia
Medium term Long term
Short term
Leading indicators
Resultados que predicen si el objetivo se conseguirá o no
KEY RESULTS
Lagging indicators
Objetivo conseguido
OBJECTIVE
Indicadores actitudinales Indicadores de comportamiento
Beneficio para
la organización
+
Tasa de tareas realizadas con éxito
Tasa de abandono de tareas
Tiempo de ejecución de tarea
Tasa de asistencias
Tasa de errores
Número de clics
Capacidad de aprendizaje
Pre-test questionnaire
Post-task questionnaire (SEQ)
Post-test questionnaire (SUS, TAM)
Think aloud.
Respuestas a preguntas abiertas.
Exclamaciones espontáneas.
Comunicación no verbal.
Unique Visitors
Pageviews
Bounce Rate
Conversion Rate
Funnel
Usability
Analytics

44. Recomendaciones para
implementación en Scrum

45. Fuente: https://blog.crisp.se/2016/01/25/henrikkniberg/making-sense-of-mvp#more-7646
Fig. Descripción del desarrollo de producto, utilizando un auto como metáfora.

46. Nivel
de
riesgo
e
incertidumbre

47. Nivel
de
riesgo
e
incertidumbre

48. Nivel
de
riesgo
e
incertidumbre

49. Nivel
de
riesgo
e
incertidumbre

50. Nivel
de
riesgo
e
incertidumbre

51. Nivel
de
riesgo
e
incertidumbre
Entrega temprana y continua

52. Impact Output
Outcome
Nivel
de
riesgo
e
incertidumbre
Entrega temprana y continua

53. Nivel
de
riesgo
e
incertidumbre
Entrega temprana y continua
Product Backlog
Product Vision
Value Proposition
Business Model
User Story Mapping
Product roadmap
Value
Measurements
outcome
output
impact

54. PORTFOLIO
STRATEGY
PRODUCT ROADMAP
RELEASE PLANNING
ITERATION PLANNING
DAILY
PLANNING
VISIÓN
Estrategia
Coordinación
y
alineamiento
Ejecución
VALOR
VALIDACIÓN
RELEASE
Inputs
Activities
Outputs
Outcomes
Impact
Key
Results
Objective
Usability
Product
Vision
Value
Proposition
Business
Model
Product
Roadmap
User Story
Mapping
Product
Backlog
Sprint
Backlog

55. Fig. Goal Oriented Product Roadmap.
Name/version
Name/version
Name/version
Name/version
DATE
The release date or timeframe
GOAL
The reason for creating the
new release
FEATURES
The high-level features
necessary to meet the goal
METRICS
The metrics to determine if the
goal has been met
This work is licensed under a Creative Commons
Attribution-ShareAlike 3.0 Unported License
THE GO PRODUCT ROADMAP
Date or timeframe
Features
Metrics
Goal
Date or timeframe
Features
Metrics
Goal
Date or timeframe
Features
Metrics
Goal
Date or timeframe
Features
Metrics
Goal
NAME
The name of the new release
www.romanpichler.com
Template version
Outcomes
Aprendizaje
validado
Fuente: https://www.romanpichler.com/blog/goal-oriented-agile-product-roadmap/
Outputs

56. Línea del tiempo
User Activities
User Tasks
Sub-tasks
Prioridad
Release 1
Release 2
Release 3
ACCIONES DEL USUARIO - OUTCOME
INTERACCIÓN CON LA HERRAMIENTA - OUTPUT

57. US-02 Origen
Como usuario de App
BBVA quiero seleccionar
mi cuenta eje para
realizar una
transferencia.
Criterios de aceptación
• Visualizar el total de
cuentas y tarjetas.
• Mostrar 5 últimos
dígitos de cada cuenta.
• Mostrar monto
actualizado.
Definición de Preparado
• Interfaz gráfica
aprobada
• Validación comité ARO
Definición de Terminado
• Conexión con BBDD
• Prueba Unitaria OK
• Desplegado en ambiente
de prueba
US-02 Task 01
Desarrollo Front-end
US-02 Task 02
Desarrollo Back-end
US-02 Task 03
Pruebas
US-02 Task 04
Implementación
8sp
Criterios de aceptación
• Tasa de tarea realizada
con éxito mayor a 90%
• Tiempo promedio de
ejecución de tarea
menor a 15 segundos.

58. Antes de despedirnos

59. Bibliografía
para seguir aprendiendo

60. Bibliografía
para seguir aprendiendo

62. Check-out
¿Qué aprendizajes te
llevas el día de hoy?

63. ¡Gracias!
Víctor García
@idvicman /idvicman idvictorgarcia vicmangl@gmail.com

64. Midiendo la estrategia
de producto
en las organizaciones