Cómo hacer test A/B de emails en frío sin engañarte

Casi todas las guías de email en frío te dicen que hagas test A/B de tus asuntos. Casi ninguna menciona que, con el volumen que tiene la mayoría de remitentes pequeños, un test de asunto no puede dar una respuesta fiable. Igualmente obtendrás un número. Igualmente parecerá que hay un ganador. Solo que será ruido con traje.

Esta es la versión honesta: qué merece la pena probar primero, cuántos emails necesita un resultado para significar algo, cómo detectar una victoria falsa y qué hacer en su lugar cuando las matemáticas dicen que no puedes hacer un test de verdad. La aritmética está expuesta entera para que la rehagas con tus números.

Por qué el email en frío es mal terreno para experimentar

El test A/B funciona bien cuando lo que mides ocurre a menudo. Los tests de checkout en ecommerce funcionan porque un pequeño porcentaje de miles de visitantes convierte cada día. El email en frío es lo contrario: el resultado que te importa — una respuesta — le ocurre a entre el 2% y el 8% de las personas que contactas, y un remitente pequeño toca unos cientos de personas al mes, no unos cientos de miles. Evento raro más volumen pequeño es igual a incertidumbre enorme. Todo lo demás en este artículo se deriva de esa frase.

La métrica sobre la que debes medir

Mide respuestas y, cuando puedas, reuniones agendadas. No aperturas.

El seguimiento de aperturas está roto. Los proxies de privacidad descargan las imágenes antes de que un humano vea el mensaje, los escáneres de seguridad pinchan los enlaces para comprobarlos y algunos clientes bloquean los píxeles por completo. El resultado está inflado por un lado por la precarga automática y desinflado por otro por los píxeles bloqueados, sin forma de separar ambos efectos. Una "victoria" de asunto medida en aperturas suele ser simplemente la variante que cayó en más buzones con proxies de imágenes agresivos.

Las respuestas son más engorrosas de contar pero son reales: un humano leyó el mensaje y escribió algo. Las reuniones son mejores aún, pero más raras, lo que empeora el problema del tamaño de muestra: optimiza sobre respuestas y contrasta con reuniones.

La aritmética: cuántos emails necesitas

Primero la regla, luego de dónde sale.

Envíos por variante ≈ 16 × p × (1 − p) ÷ d²

donde p es tu tasa media de respuesta entre las dos variantes y d es la mejora absoluta que quieres poder detectar. El 16 sale del requisito estándar de 95% de confianza y 80% de potencia: (1,96 + 0,84)² ≈ 7,85, duplicado a unos 16 porque comparas dos grupos y no un grupo contra un número fijo. No hace falta que te fíes de la fórmula: basta con pasarle tus cifras.

Ejemplo 1: una mejora realista

Tu tasa de respuesta actual es del 4% y quieres saber si una variante nueva te lleva al 6% — una mejora relativa del 50%, un cambio genuinamente valioso.

• Media de las dos tasas: p = 5%, así que p × (1 − p) = 0,05 × 0,95 = 0,0475
• Diferencia a detectar: d = 0,02, así que d² = 0,0004
• 16 × 0,0475 ÷ 0,0004 = 0,76 ÷ 0,0004 = 1.900 envíos por variante

Son 3.800 emails para responder a una pregunta sobre una variable. Si envías 300 emails en frío al mes desde una oficina pequeña de Madrid, ese test dura un año — y para entonces tu lista, tu oferta y los proveedores de correo habrán cambiado bajo tus pies.

Ejemplo 2: una mejora modesta

Supón ahora que la versión nueva solo te mueve del 4% al 5%.

• p = 4,5%, así que p × (1 − p) = 0,045 × 0,955 = 0,042975
• d = 0,01, así que d² = 0,0001
• 16 × 0,042975 ÷ 0,0001 ≈ 6.900 envíos por variante

Casi 14.000 emails. Fíjate en lo que pasó: al reducir el efecto a la mitad, el requisito se multiplicó por cuatro, porque el tamaño de muestra escala con el cuadrado de la diferencia. Es el dato más importante del artículo: te dice exactamente qué tests puede y no puede correr un remitente pequeño.

Ejemplo 3: un cambio grande

Ahora, en vez de retocar redacción, cambias la oferta entera — otra promesa, otro motivo para responder — y eso te lleva del 4% al 8%.

• p = 6%, así que p × (1 − p) = 0,06 × 0,94 = 0,0564
• d = 0,04, así que d² = 0,0016
• 16 × 0,0564 ÷ 0,0016 ≈ 560 envíos por variante

Unos 1.100 emails en total: alcanzable en un mes o dos. Y si el cambio es lo bastante drástico como para llevarte del 4% al 12%, el requisito baja a unos 185 por variante, unos 370 emails.

La conclusión es inevitable: un remitente pequeño solo puede detectar cambios grandes. Con volumen modesto, probar "Una pregunta rápida" contra "Una pregunta rápida, {{Nombre}}" quema la única capacidad experimental que tienes. Gástala en cosas que puedan duplicar tu tasa de respuesta.

Por qué 50 contra 50 no demuestra nada

El "test" más común que se ve por ahí: 50 emails con la versión A, 50 con la B. A saca 3 respuestas, B saca 1. La versión A gana por 3×, el fundador reescribe toda la secuencia y la historia acaba contada en una conferencia.

Mira la incertidumbre. Con 3 respuestas de 50, la tasa observada es del 6%. El error estándar es la raíz cuadrada de (0,06 × 0,94 ÷ 50), unos 3,4 puntos porcentuales, y un intervalo del 95% es aproximadamente la tasa observada más menos dos errores estándar: de casi 0% a un 12,6%. Para la versión B, 1 respuesta de 50 es un 2%, error estándar de unos 2,0 puntos, intervalo aproximado de 0% a 5,9%.

Esos rangos se solapan en casi toda su anchura. Los datos son igual de compatibles con que A sea el doble de buena, con que B sea algo mejor y con que las dos sean idénticas. Tres respuestas contra una es exactamente lo que produce el azar cuando ambas versiones tienen la misma tasa real, igual que cuatro caras de cinco lanzamientos no demuestran que la moneda esté trucada.

La incertidumbre con tamaños que parecen grandes

Doscientos envíos por variante parecen un test serio. Con una tasa del 4% eso son 8 respuestas. El error estándar es la raíz de (0,04 × 0,96 ÷ 200), unos 1,4 puntos, así que la tasa real detrás de esas 8 respuestas está en algún punto entre el 1,3% y el 6,7%. Dentro de esa horquilla no puedes distinguir una variante mediocre de una buena.

Un atajo útil: la incertidumbre la manda el número de respuestas, no el de envíos. Por debajo de unas 25–30 respuestas por variante estás leyendo posos de café; por debajo de 10, solo miras la taza. Con un 4% de respuesta, 30 respuestas son 750 envíos por variante.

Qué probar primero, por orden

Dado que solo puedes permitirte detectar efectos grandes, prueba cosas grandes.

1. La lista

Nada mueve la tasa de respuesta como a quién escribes. El mismo mensaje enviado a un segmento bien ajustado y a otro mal ajustado puede diferir por un factor de tres o más — un efecto que un remitente pequeño sí puede medir. Segmenta por sector, tamaño de empresa, ciudad o por si el negocio tiene un detonante evidente (local nuevo, contrataciones, financiación reciente). Si el cuello de botella es una lista limpia y bien enfocada, eso es un problema de obtención de datos antes que de redacción, y acortar esa construcción para un nicho concreto es justo para lo que existen herramientas como JustLeadIt.

2. La oferta

No la redacción: la oferta misma. Una auditoría gratis, un informe comparativo, un análisis de 15 minutos y un piloto de pago son propuestas distintas, y sus tasas de respuesta se separan por márgenes amplios. Segunda mayor palanca y segunda más medible.

3. El ángulo o premisa de apertura

¿Por qué escribes a este negocio en concreto? Un mensaje anclado en algo observable ("tu página de reservas no carga en móvil") juega en otra liga que un discurso genérico de capacidades. Los cambios de ángulo son lo bastante grandes como para detectarse.

4. La petición (CTA)

Un sondeo de interés ("¿te interesa verlo?"), un enlace a calendario y una hora concreta propuesta producen comportamientos de respuesta realmente distintos. Merece la pena probarlo, pero espera efectos menores que los de lista u oferta, muchas veces en el rango que necesita más volumen del que tienes.

5. Asuntos y microcopia

Lo último y, sinceramente, opcional con poco volumen. El efecto del asunto sobre las respuestas suele ser de uno o dos puntos, que por la aritmética de arriba exige miles de envíos por variante. Escribe un asunto llano que no parezca marketing y sigue adelante.

Cómo hacer un test que no sea basura

Una variable cada vez

Si cambias a la vez el asunto, la primera frase y el CTA y suben las respuestas, has aprendido que ese paquete gana a este otro — no qué cambio lo hizo, ni nada que puedas llevarte a la siguiente campaña. Con poco volumen a veces es un intercambio aceptable: un test de "campeón contra aspirante" entre dos emails enteros es un diseño legítimo. Solo sé honesto sobre lo que te dice y lo que no.

Aleatoriza dentro de la misma lista y la misma ventana

El test arruinado clásico: versión A el martes por la mañana, versión B el jueves por la tarde. Ahora estás probando día de la semana, hora del día y texto a la vez, y no puedes separarlos. Lo mismo si mandas A a tu mejor segmento y B a los restos. Asigna cada contacto a A o B al azar dentro de la misma lista y la misma ventana de envío — alterna por la lista si no tienes herramienta. Es la mejora de calidad más barata que existe y la que más gente se salta.

Vigila la deriva de entregabilidad

La entregabilidad no es constante. Un dominio en calentamiento entra mejor en la bandeja en la semana tres que en la uno, y un proveedor puede empezar a limitarte a mitad de campaña. Si A salió con el dominio sano y B tras un pico de quejas de spam, el texto no tuvo nada que ver. Peor: si una variante contiene una palabra o un patrón de enlace que activa un filtro, esa variante puede acabar en spam para toda una clase de destinatarios y parecer copia floja cuando sencillamente nunca se leyó. Comprueba la colocación por variante antes de creerte los números.

No mires a mitad y pares

Mirar los resultados a diario y declarar ganador en cuanto una variante se adelanta es la forma fiable de fabricar victorias falsas. Al principio del test la proporción da bandazos: con 20 envíos por lado, una respuesta extra parece un 100% de mejora. Parar cuando la brecha es mayor es seleccionar ruido. Fija el tamaño de muestra antes de empezar y mira una sola vez al final.

Cuenta tus comparaciones

Si pruebas cinco variantes a la vez, o lees cinco métricas de un test, te has dado cinco oportunidades de encontrar un resultado "significativo". Con el umbral habitual del 95%, aproximadamente una de cada veinte comparaciones da un falso positivo por puro azar. Con cinco comparaciones, un ganador espurio es un desenlace rutinario, no mala suerte.

Qué debería hacer un remitente pequeño en su lugar

Renunciar al test A/B no es ir a ciegas. Es cambiar a métodos que funcionan con poco volumen, y etiquetar sus conclusiones con honestidad.

Aprendizaje por lotes secuenciales

Envía un mensaje a un lote de 100–150 contactos y anota la tasa de respuesta. Cambia una cosa grande — la oferta, el ángulo, el segmento — y lanza el siguiente lote. Lleva un registro simple: lote, cambio, respuestas.

De aquí no sacarás significancia estadística y no deberías afirmarla. Lo que sacarás es una imagen a lo largo de diez o quince lotes: unos enfoques dan de forma consistente 1–2 respuestas por cien y otros dan consistentemente 6–8. Una señal direccional repetida en muchos lotes es información real, aun sin p-valor. Simplemente no actúes nunca a partir de un solo lote.

Lee las respuestas, no solo las cuentes

Con 200 envíos tendrás unas ocho respuestas: estadísticamente inútil, cualitativamente oro. ¿La gente no entiende qué vendes? ¿Dicen "persona equivocada"? ¿"Ya tenemos a alguien"? Cada una apunta a un arreglo distinto: claridad, segmentación, momento. Las respuestas negativas son las más útiles de todas: "no aplica, no hacemos X" te dice que tu filtro de lista está mal, que es tu mayor palanca. Es la actividad con más información por email disponible para un remitente pequeño y no requiere tamaño de muestra ninguno.

Prueba listas y ofertas, no frases

Como con poco volumen el tamaño del efecto lo es todo, gasta tu presupuesto experimental en las dos variables con mayor efecto posible. Otro vertical u otra oferta pueden llevarte plausiblemente del 3% al 9%. Una segunda frase reescrita no.

Etiqueta tu evidencia con honestidad

Acostúmbrate a decir: "direccionalmente, la oferta de auditoría parece mejor a lo largo de cuatro lotes — merece continuar, no está demostrado". Esa frase le sirve más a tu yo futuro que una certeza falsa. Los equipos que llevan un registro honesto deciden mejor en el mes seis que los que corrieron una docena de tests sin potencia y se creyeron todos.

Una regla práctica de decisión

Antes de montar cualquier test: estima tu tasa de respuesta actual p con tus últimos cientos de envíos; decide la mejora mínima d que de verdad cambiaría tu comportamiento; y calcula 16 × p × (1 − p) ÷ d². Si el resultado supera lo que puedes enviar en seis semanas, no hagas el test: haz aprendizaje por lotes y dilo así. Las seis semanas no son arbitrarias: más allá, la estacionalidad, el deterioro de la lista y la deriva de entregabilidad contaminan la comparación lo suficiente como para que hasta un test bien dimensionado deje de ser limpio.

La versión corta

El test A/B en email frío es real, pero es una herramienta de alto volumen y la mayoría de quienes la usan no tienen ese volumen. Con una base del 4%, detectar un salto al 6% cuesta unos 1.900 envíos por variante; al 5%, unos 6.900; al 8%, unos 560. Por eso los remitentes pequeños deberían probar ofertas, listas y ángulos, y dejar la optimización de asuntos a quienes mandan decenas de miles de emails al mes.

Mide respuestas, no aperturas. Aleatoriza dentro de una lista y una ventana. Fija el tamaño de muestra antes de empezar y mira una sola vez. Y cuando la aritmética diga que no puedes correr un test válido — que será la mayoría de las veces — haz lotes secuenciales, lee cada respuesta con atención y llama a tu evidencia por su nombre: direccional. La incertidumbre honesta se acumula en buen criterio. La certeza falsa se acumula en un año optimizando la frase equivocada.