Tests A/B en ecommerce: cómo diseñar, medir e interpretar experimentos sin engañarte con los datos

"Cambiamos la foto principal de la home y las ventas subieron un 15 %". Es una frase que se escucha seguido. El problema es que, sin un experimento bien diseñado, no hay forma de saber si la suba vino de la foto, del día de cobro, de una campaña que arrancó en paralelo o de pura variación aleatoria.

Los tests A/B separan la intuición de la evidencia. Pero mal hechos te dan una falsa certeza para decidir mal. En esta guía vamos a ver cómo diseñarlos, cuánto tráfico necesitás, qué errores invalidan un resultado y qué alternativas tenés si tu tienda todavía no tiene volumen.

Qué es (y qué no es) un test A/B

Un test A/B divide el tráfico de forma aleatoria y simultánea entre dos versiones de una página o elemento: la actual (control, A) y la modificada (variante, B). Después de un período definido, se compara una métrica entre los dos grupos.

Las dos condiciones clave son:

• Aleatoriedad: cada visitante cae en A o en B al azar, y se queda en su grupo durante todo el test.
• Simultaneidad: las dos versiones corren al mismo tiempo, así los factores externos (día de la semana, campañas, clima) afectan a ambas por igual.

Comparar "la semana pasada contra esta semana" no es un test A/B. Es un análisis antes/después, mucho más expuesto a ruido.

Paso 1: Una hipótesis que se pueda refutar

Todo test empieza con una hipótesis escrita con esta estructura:

"Si [cambio], entonces [métrica] va a [subir/bajar], porque [razón basada en evidencia]".

Ejemplo: "Si mostramos el costo de envío en la página de producto, entonces la tasa de checkout iniciado a compra va a subir, porque en las grabaciones de sesión vemos abandonos al aparecer el costo en el último paso".

La razón importa: obliga a basar el test en un problema observado (analítica, mapas de calor, preguntas de clientes) y no en gustos. Una buena fuente de hipótesis son las fricciones de UX que más ventas cuestan.

Paso 2: Una métrica principal (y algunas de control)

Definí antes de arrancar una sola métrica principal. Lo habitual en ecommerce:

• Tasa de conversión por sesión o por usuario.
• Ingreso por visitante (combina conversión y ticket).
• Tasa de agregado al carrito, si el cambio está en la ficha de producto.

Sumá métricas de control para detectar efectos indeseados: ticket promedio, tasa de devoluciones, uso de cupones. Una variante que sube la conversión regalando descuentos no es una mejora.

Si necesitás repasar cómo se calcula la conversión y qué valores son razonables, está explicado en qué es la tasa de conversión.

Paso 3: Calcular el tamaño de muestra

Este es el paso que más se saltea, y el que más resultados invalida. Necesitás saber cuántos visitantes por variante hacen falta para detectar el efecto que te interesa.

Una aproximación útil para métricas de proporción (como la conversión), con 95 % de confianza y 80 % de potencia estadística:

n por variante ≈ 16 × p × (1 − p) / δ²

Donde p es la conversión actual y δ es la diferencia absoluta mínima que querés detectar.

Ejemplo: tu conversión es 2 % (p = 0,02) y querés detectar una mejora relativa del 20 %, es decir, pasar a 2,4 % (δ = 0,004).

n ≈ 16 × 0,02 × 0,98 / 0,000016 ≈ 19.600 visitantes por variante, unas 39.200 en total.

Tres conclusiones prácticas:

• Con conversiones bajas, detectar mejoras chicas exige muchísimo tráfico.
• Reducir el efecto mínimo a la mitad multiplica la muestra por cuatro.
• Si tu tienda tiene 3.000 visitas por mes, este test tardaría más de un año. No tiene sentido correrlo así (más abajo vemos alternativas).

Para cálculos exactos, usá una calculadora de tamaño de muestra o la que traiga tu herramienta de testing.

Paso 4: Duración y reglas de corte

• Corré semanas completas. El comportamiento cambia entre días hábiles y fines de semana, y alrededor de los días de cobro. Como mínimo, una semana; idealmente dos.
• No mires y cortes. Revisar el resultado todos los días y frenar apenas aparece "significativo" (el llamado peeking) dispara los falsos positivos. Definí la muestra y la fecha de fin antes de empezar.
• Evitá fechas atípicas. Un test que cruza Black Friday o Hot Sale mide un público distinto al habitual.

Paso 5: Validar que el test esté sano

Antes de leer el resultado, chequeá:

• Sample Ratio Mismatch (SRM): si configuraste 50/50 y tenés 52.000 contra 48.000 sesiones, algo falla (redirecciones, bots, cacheo, errores de carga). Un test chi-cuadrado sobre la distribución te dice si la diferencia es esperable. Si hay SRM, el resultado no es confiable.
• Igualdad técnica: que la variante no cargue más lento ni rompa en algún navegador. Una variante más lenta puede perder por velocidad, no por diseño.
• Tracking consistente: que los eventos de compra se registren igual en ambas versiones.

Paso 6: Interpretar el resultado

• Mirá el intervalo de confianza, no solo el p-valor. "La variante mejora la conversión entre 2 % y 18 %" es más útil que "es significativo".
• Cuidado con los segmentos. Cortar por dispositivo, canal o región después del test casi siempre encuentra "un segmento donde ganó". Si querés analizar segmentos, definilos de antemano y tomalos como hipótesis para un próximo test.
• Efecto novedad. Algunos cambios rinden más la primera semana solo porque llaman la atención.

Un caso práctico

(Caso ilustrativo basado en situaciones habituales del sector).

Una tienda de indumentaria con unas 120.000 sesiones mensuales y 1,8 % de conversión quería probar un checkout de una sola página contra el de tres pasos. Calcularon que, para detectar una mejora relativa del 15 %, necesitaban unas 40.000 sesiones por variante: unas tres semanas al 50/50.

A los cinco días la variante "ganaba" por 22 %. No cortaron. Al terminar las tres semanas, la diferencia se estabilizó en +6 %, con un intervalo de confianza que incluía el cero. Además, el chequeo de SRM mostró un desbalance causado por una redirección que fallaba en un navegador. Corrigieron el error, repitieron el test y el resultado final fue neutro. Si hubieran cortado el quinto día, habrían migrado todo el checkout por un efecto que no existía.

Qué hacer si tenés poco tráfico

Con menos de unas 10.000 sesiones mensuales, los tests A/B clásicos sobre conversión rara vez llegan a una conclusión. Alternativas:

• Testear cambios grandes, no detalles: una ficha de producto rediseñada, no un color de botón. Efectos grandes necesitan muestras chicas.
• Usar métricas más frecuentes, como agregado al carrito o clics en "comprar", que tienen más eventos.
• Testear en los anuncios, donde el volumen es mayor: mensajes, ofertas y fotos se pueden validar ahí antes de llevarlos a la tienda.
• Investigación cualitativa: pruebas con 5 usuarios, grabaciones de sesión y las preguntas que te hacen los clientes detectan los problemas más gruesos.
• Antes/después con cuidado: si no queda otra, compará períodos equivalentes, con las UTM bien configuradas para aislar canales, y tomalo como indicio, no como prueba.

Checklist para cada experimento

• ☐ Hipótesis escrita con cambio, métrica esperada y razón.
• ☐ Una métrica principal y métricas de control definidas.
• ☐ Tamaño de muestra calculado con el efecto mínimo relevante.
• ☐ Duración en semanas completas y fecha de fin fijada.
• ☐ Sin fechas promocionales atípicas en el período.
• ☐ Asignación aleatoria y persistente por usuario.
• ☐ Chequeo de SRM y de igualdad técnica entre variantes.
• ☐ Lectura con intervalo de confianza, sin cortar antes.
• ☐ Resultado y aprendizaje documentados, aunque sea neutro.

Preguntas frecuentes

¿Puedo testear más de una variante a la vez?

Sí (test A/B/n), pero cada variante adicional divide el tráfico y aumenta la muestra necesaria. Además, al hacer varias comparaciones conviene ajustar el nivel de significancia.

¿Los tests afectan el SEO?

Si las variantes corren en la misma URL o usan redirecciones temporales con la canónica bien configurada, el riesgo es bajo. Evitá mostrar contenido distinto a los buscadores que a los usuarios.

¿Cada cuánto conviene testear?

Más que la frecuencia, importa tener hipótesis priorizadas: un test bien diseñado vale más que cuatro mal hechos.

Una base sólida para experimentar con Orbitienda

Para que un test tenga sentido, primero necesitás una tienda estable y medible. Orbitienda ya resuelve buena parte de las fricciones que suelen aparecer como hipótesis: checkout pensado primero para celulares, compra sin registro, costo de envío visible según la dirección y Mercado Pago integrado. Con hosting y actualizaciones incluidos no tenés que preocuparte por la parte técnica, y el plan Despegue suma métricas para seguir cómo evoluciona tu tienda. Así podés dedicar tu tiempo a investigar a tus clientes y probar las ideas que de verdad pueden mover la aguja.

Conocé Orbitienda y construí tu ecommerce sobre una base que te deje enfocarte en crecer.