El problema de medir sin contrafactual
Una campaña de retención se lanza sobre los clientes con mayor riesgo, y al cierre se reporta que el 70% permaneció. Suena bien, pero sin un grupo comparable que no recibió la campaña no se sabe cuántos de esos clientes se habrían quedado igual. Buena parte de los programas «exitosos» miden regresión a la media.
Diseño mínimo de un experimento útil
No hace falta un aparato estadístico complejo, hace falta disciplina en cinco puntos.
- Hipótesis escrita antes de lanzar, con la métrica y el efecto mínimo relevante
- Asignación aleatoria de la población elegible entre tratamiento y control
- Tamaño de muestra suficiente para detectar ese efecto mínimo
- Ventana de medición definida de antemano, sin cortar cuando conviene
- Análisis del efecto incremental, no del desempeño absoluto del grupo tratado
Escalar solo lo que demostró incrementalidad
La disciplina paga cuando se aplica a la decisión de escalar. Un programa que muestra tres puntos de incrementalidad con costo conocido puede defenderse ante el comité con cifras. Uno que solo muestra desempeño absoluto se defiende con relato, y se cancela en el primer recorte.
Institucionalizar la práctica
Las organizaciones que aprenden más rápido no corren experimentos más sofisticados: corren más experimentos, documentan los que fallan y mantienen un repositorio de lo aprendido. El activo no es cada prueba, es el acervo.
Qué llevarse
- Sin grupo de control no se puede distinguir impacto de regresión a la media.
- Definir hipótesis, muestra y ventana antes de lanzar es el 80% del rigor necesario.
- El valor está en el acervo de experimentos, no en cada prueba aislada.
Marcos NS y fuentes de referencia
- Marco propietario NS · DD·NS — notas metodológicas de la práctica de Economía del Comportamiento
- Base de proyectos NS: casos anonimizados por sector y geografía
- Evidencia abierta de mercado y literatura académica, recalibrada con datos del cliente
- DellaVigna & Linos (2022), 'RCTs to Scale: Evidence from Nudge Units', Econometrica
- Thaler & Sunstein — Nudge
- Kahneman & Tversky — Prospect Theory
Este artículo desarrolla marcos propios de NS Business Strategy, apoyados en nuestra base de proyectos y en literatura y estudios públicos de la industria, citados arriba. Las cifras son rangos de referencia; cada proyecto se mide con los datos reales del cliente.