Herramienta gratuita
Significancia de un test A/B
Que una versión funcione mejor que otra no prueba nada mientras no sepas si la diferencia se sostiene estadísticamente. Cuatro cifras y tienes la respuesta.
La significancia estadística de un test A/B indica la probabilidad de que la diferencia observada entre dos versiones no se deba al azar. Se calcula con un test de comparación de dos proporciones, a partir de los visitantes y las conversiones de cada versión. El umbral habitual es el 95 %.
La diferencia entre B y A, con su margen de error
- Diferencia fiable al 95 %
- Dentro del margen de error
Lo que hace el cálculo
Tasa A = Conversiones A ÷ Visitantes A Tasa B = Conversiones B ÷ Visitantes B Diferencia relativa = (Tasa B ÷ Tasa A) − 1 Confianza = test de comparación de dos proporciones (bilateral)
5.000 visitantes y 250 conversiones por un lado (5 %), 5.000 y 300 por el otro (6 %): la diferencia relativa es del +20 % y el nivel de confianza del 97,2 %. Por encima del 95 %, la diferencia se considera significativa.
La misma diferencia del 20 % con diez veces menos tráfico no sería concluyente. Ese es el interés del cálculo: separa el tamaño de la diferencia de la solidez de la prueba, dos cosas que el ojo confunde sistemáticamente al leer una tabla de resultados.
⚠️ El test es bilateral: responde a «difieren las dos versiones», no a «es B mejor». Es simétrico, así que una variante que pierde un 20 % sale con la misma confianza que una que gana un 20 %.
Las tres formas de equivocarse con un test A/B
- Parar el test en cuanto pasa el 95 %. Mirando todos los días, se acaba cruzando el umbral por azar. La duración del test se fija ANTES de lanzarlo y no se concluye antes.
- Testar menos de un ciclo completo. El comportamiento de compra del lunes no es el del sábado: un test que no cubre semanas enteras compara dos días, no dos versiones.
- Confundir significativo con importante. Con tráfico suficiente, una diferencia de 0,1 puntos se vuelve significativa sin cambiar nada en la facturación. La confianza dice que la diferencia es real, no que merezca la pena desplegarla.
Preguntas frecuentes
Qué significa un resultado significativo al 95 %?
Significa que hay menos de un 5 % de probabilidades de observar una diferencia de este tamaño si las dos versiones fueran en realidad idénticas. No es la probabilidad de que B sea mejor: es la probabilidad de tal diferencia si no hubiera diferencia real.
Cuántos visitantes hacen falta para concluir?
Depende de la tasa base y de la diferencia que quieras detectar. Cuanto más baja es la tasa y más pequeña la diferencia buscada, más tráfico hace falta. Una diferencia del 20 % sobre una tasa del 5 % pide algunos miles de visitantes por versión; una del 5 % pide decenas de miles.
Se pueden probar más de dos versiones a la vez?
Sí, pero el cálculo de arriba compara dos. Con varias variantes, la probabilidad de que al menos una cruce el umbral por suerte sube con cada comparación añadida, y el umbral debe ajustarse en consecuencia.
Tus tests creativos nunca deciden nada?
Casi siempre es un problema de volumen por variante antes que de creatividad. La calculadora de test de creatividades Meta dice cuántas puedes probar en serio con tu presupuesto.
Lograr Tests Claros
Socio de crecimiento
Posicionamiento, adquisición, innovación: construimos juntos un sistema de crecimiento duradero.
Théo MaupiléFreelance Paid Media
Google PartnerSuperMalter
