Medición del Éxito y Mejora Continua
Tabla de contenidos
Tipos de resultados
Tras la finalización de nuestros test, veremos cuál ha sido el resultado de nuestra hipótesis. En este sentido podemos encontrarnos tres posibles resultados dependiendo de la variante que haya funcionado mejor.
⚠️ Antes de avanzar, y aunque esta medida es algo polémica entre la comunidad CRO, te recomendamos dejar que la herramienta de testing dé por finalizado tu test antes de observar los resultados.
En muchas ocasiones tenemos la manía de ir observando el resultado del test a medida que avanza y eso puede provocar que, cegados por una tendencia positiva, decidamos parar el experimento antes de tu finalización “oficial” por parte de la herramienta. Si hacemos esto nos arriesgamos a que los resultados no se mantengan y a aplicar cambios no efectivos en nuestra web.
Con el punto anterior claro, vamos a ver qué tipos de resultados podemos obtener después de llevar a cabo nuestro experimento.
Resultados positivos
Un experimento positivo, nos dice que, basándonos en los objetivos que hemos marcado, una de nuestras variantes ha tenido un rendimiento mejor que la versión original (control), y por supuesto que el resto de las variantes propuestas, en el caso de que las hubiera.
⚠️ Hay que tener claro que un resultado positivo NO quiere decir que la variante ganadora sea la mejor siempre. Quiere decir que esa variante tiene más probabilidades de ser mejor que la versión original, según el periodo analizado y el segmento de tráfico concreto en dicho periodo.
¿Qué hacemos cuando obtenemos un resultado positivo?
- Si somos 100% rigurosos, tendríamos que volver a repetir el experimento, pero, esta vez, aplicándolo a una muestra de control diferente (es decir, a otro segmento de público). Así verificaríamos si los resultados realmente se mantienen o no.
- Pasar a producción tu variante ganadora teniendo en cuenta que los resultados obtenidos podrían no reflejarse.
Resultados negativos
Un experimento negativo, nos dice que, basándonos en los objetivos que hemos marcado, nuestra variante de CONTROL (la original) ha tenido un rendimiento mejor que el resto.
¿Qué hacemos cuando obtenemos un resultado negativo?
- Si estamos muy seguros de nuestra hipótesis inicial, podríamos volver a repetir el experimento, para descartar que no se ha visto afectado por factores externos.
- Replantear hipótesis y volver a repetir el test.
- Descartar el experimento.
- Aprender y compartir los resultados.
Resultados neutros
Los resultados neutros son los que más te vas a encontrar. Según este estudio solo 1 de cada 7 pruebas A / B es una prueba ganadora estadísticamente significativa. El resto no ofrecen resultados consistentes.
Un resultado neutro nos indica que ninguna de las opciones testeadas (ni el control ni las variantes) ha obtenido un rendimiento mayor que las demás.
Por lo tanto, si decides implementar algunas de tus variantes, los resultados no serán peores que los que se obtendrían con la página original.
¿Qué hacemos cuando obtenemos un resultado neutro?
- Pasar a producción nuestra variante teniendo en cuenta que los resultados obtenidos podrían variar totalmente.
- Si estamos muy seguros de nuestra hipótesis inicial, podríamos volver a repetir el experimento, para descartar que no se ha visto afectado por factores externos.
- Replantear hipótesis y volver a repetir el test.
- Descartar nuestra hipótesis.
- Aprender y compartir los resultados.
Errores a evitar en Testing
Estos son los principales errores que te recomendamos evitar cuando realices un proceso de experimentación.
No partir de una hipótesis:
Hacer A/B testing sin tener una hipótesis es un error común en personas que confunden hacer optimización con utilizar alguna de las herramientas de A/B testing disponibles en el mercado.
No considerar factores externos:
Siempre es recomendable poner en marcha tus experimentos dentro de un periodo temporal estable en el que no haya ni picos de tráfico puntuales, ni campañas de promoción agresivas, etc. El objetivo es reproducirlo dentro de un contexto natural o habitual del site.
Por lo tanto, una vez que obtengas tus resultados, no te olvides de chequear que durante el experimento no se han dado lugar factores externos que hayan podido desvirtuar los datos. Te hablamos por ejemplo de: falta de stock, rebajas, acciones de la competencia, días festivos, etc.
Confundir correlación con causalidad:
En el contexto del CRO, es crucial no asumir que una correlación implica causalidad. Por ejemplo, si notamos que los usuarios que ven un vídeo en la página tienen una mayor probabilidad de realizar una compra, no debemos asumir automáticamente que el vídeo es el factor que causa la conversión. Podría ser que los usuarios que ya tienen más intención de compra son los que deciden ver el vídeo.
Para determinar esa causalidad realizamos los experimentos controlados (como los vistos en el capítulo anterior). Si las conversiones aumentan significativamente en el grupo que vio el vídeo, podemos hablar de causalidad, ya que hemos controlado otras variables.
Realizar cambios con el test en marcha:
Realizar cambios sobre un experimento de conversión web que ya está recopilando datos implica varios riesgos que pueden afectar la validez y la eficacia de los resultados.
Si el experimento ya está en marcha, no se toca. No se pueden añadir más variantes, ni modificar la variante definida, ni cambiar la asignación de tráfico, ni añadir más objetivos.
Lo más recomendable es finalizar el experimento en su forma actual antes de implementar cualquier ajuste, garantizando así que las decisiones futuras se basen en datos sólidos y confiables.
Implementación de un proceso de mejora continua
La mejora de la conversión no es un proceso estático, lo que funciona hoy puede no funcionar mañana.
El proceso no termina con un experimento exitoso. El comportamiento de los usuarios cambia, por lo que es fundamental repetir el ciclo, identificando nuevas oportunidades y formulando nuevas hipótesis.
Por lo tanto, es un proceso iterativo: se experimenta, se recogen resultados, se aplican mejoras y se vuelve a experimentar. Así, se consigue una evolución constante hacia un sitio web cada vez más eficiente y efectivo.
Lo recomendable es intentar crear una cultura de mejora continua en tu equipo, donde todos estén alineados con la importancia del CRO y la necesidad de seguir optimizando.
Y además, integrar el CRO en otros canales y activos digitales para asegurar que la optimización se convierta en una práctica habitual y no en un proyecto puntual.
