Un dashboard muestra 742 errores de pago. Antes de tratar ese recuento como un incidente, hacen falta el número de intentos de pago, el periodo observado y una definición de error. Los intentos fallidos, los clientes que no pueden pagar y los pedidos completados son unidades de análisis distintas.
Un mismo recuento puede describir situaciones muy distintas según el volumen de actividad que haya detrás.
Definiciones, comparaciones y segmentos
Si el producto procesó 120.000 pagos ayer, 742 errores representan alrededor del 0,6% de todos los pagos. Si procesó 5.000 pagos, los mismos 742 errores representan casi el 15%. El número no ha cambiado, pero la historia sí.
Esto sucede todo el tiempo cuando trabajamos con métricas de productos. Vemos un número y nuestro cerebro inmediatamente intenta interpretarlo. La conversión subió, bien. La retención bajó, mal. Tenemos 50.000 usuarios activos, impresionante. Hubo 742 errores, lo que es preocupante. El problema es que una métrica rara vez nos dice lo suficiente por sí sola.
Tomemos algo tan común como "la conversión aumentó del 20% al 30%". Suena como una gran noticia, pero ¿de qué conversión estamos hablando? ¿Visita para registrarse? ¿Registrarse para la activación? ¿Prueba a pagar? ¿Qué usuarios están incluidos? ¿Qué período estamos comparando? ¿Cambió el tráfico durante ese período? ¿La forma en que calculamos la métrica sigue siendo la misma?
Lo mismo sucede cuando alguien dice que el producto tiene 50.000 usuarios activos. Antes de decidir si eso es bueno, necesitamos saber qué significa realmente "activo". Enviar un mensaje podría ser una actividad significativa para una aplicación de mensajería. Crear o actualizar una tarea puede tener más sentido para una herramienta de gestión de proyectos. Para el software que la gente sólo necesita unas pocas veces al año, la actividad semanal puede casi no tener sentido.
No existe una definición universal porque se supone que la métrica representa algo que sucede en el producto. Por eso definir una métrica ya es una decisión de producto. Estamos decidiendo qué comportamiento importa, qué usuarios cuentan y durante qué período queremos observarlo.
Una tasa de finalización del checkout del 81% necesita una referencia comparable. En un producto hipotético cuyo intervalo habitual fuera del 75% al 85%, podría encajar en el comportamiento reciente. En otro que se hubiera mantenido entre el 96% y el 98%, ese resultado justificaría una investigación. La definición del recorrido y el periodo de medición deben ser comparables.
Es por eso que rara vez encuentro muy útil un punto de datos aislado. Quiero saber qué pasó ayer, la semana pasada o antes del último lanzamiento. Quiero saber cómo es el rango normal. A veces también quiero saber si los lunes se comportan de manera diferente a los viernes o si existe algún patrón estacional obvio.
Un número se vuelve mucho más útil cuando podemos colocarlo al lado de algo. E incluso entonces, el número total puede ocultar lo que realmente está sucediendo. Imagine que la tasa de error de pago de nuestro producto es del 4,1%. Investigamos un poco más y descubrimos que es un 1,8% en Web, un 2% en iOS y un 18,4% en Android. Ahora la conversación es diferente. Realmente no tenemos un problema general de pago. Algo parece estar sucediendo en Android.
Así que miramos de nuevo. Android 8.3 tiene una tasa de error del 2,1 %, mientras que Android 8.4 tiene una tasa de error del 31,7 %. Esta es una de las razones por las que la segmentación es tan útil en la gestión de productos. Un promedio combina muchos usuarios diferentes en un solo número y, a veces, la experiencia de un grupo puede desaparecer dentro de ese promedio. Observar la métrica por plataforma, país, plan, canal de adquisición, tipo de cliente o versión de la aplicación puede revelar una historia completamente diferente.
Eso no significa que cada métrica necesite veinte desgloses diferentes. La mayoría de las veces, la cifra total es un punto de partida perfectamente razonable. Pero cuando algo cambia, no debemos detenernos ahí.
La misma precaución se aplica a las anomalías. Si los pedidos por minuto aumentan repentinamente en un 150%, ha sucedido algo inusual, pero eso no significa automáticamente que algo esté roto. Quizás Marketing haya lanzado una campaña. Quizás un gran cliente haya comenzado a utilizar el producto. Quizás la demanda simplemente sea mayor de lo habitual.
Una anomalía es una razón para mirar, no una conclusión.
Creo que aquí es donde los paneles a veces pueden darnos una falsa sensación de certeza. Hacen que los números parezcan definitivos. Hay una línea, un porcentaje, quizás una flecha roja que apunta hacia abajo. Todo parece muy preciso, por lo que resulta tentador pensar que la interpretación también debe ser precisa.
Pero el panel no sabe por qué se cayó la activación. No se sabe si el cambio que lanzamos la semana pasada generó un aumento de conversiones. No sabe si los errores 742 son catastróficos o completamente normales. Nos está mostrando evidencia. Todavía tenemos que entenderlo.
Para un Product Manager, eso significa sentirse cómodo sin saltar inmediatamente de un número a una conclusión. Cuando una métrica se mueve, quiero saber qué estamos midiendo exactamente, quién está incluido, cuál es el denominador, qué período estamos mirando y con qué lo estamos comparando. Si el cambio parece interesante, quiero saber si afecta a todos o si es un segmento en particular el que lo impulsa.
Luego hay otra pregunta que es sorprendentemente útil: ¿qué necesitaría saber antes de tomar una decisión basada en este número? Estas comprobaciones orientan la investigación: confirmar la definición, comparar con una referencia pertinente e identificar los segmentos afectados antes de atribuir una causa.
Una métrica merece estar en la revisión habitual de producto cuando permite evaluar un resultado o decidir dónde investigar. Los desgloses adicionales pueden quedar disponibles para el diagnóstico sin competir por la atención en cada reunión.
En el ejemplo de los pagos, los siguientes datos útiles serían el total de intentos, una tasa de error comparable y su distribución por plataforma o método de pago.
Métricas de Producto para Product Managers desarrolla estas cuestiones a través de definiciones de métricas, segmentación y decisiones de producto.
