Como fazer teste A/B de cold email sem se enganar
Quase todo guia de cold email manda testar linhas de assunto em A/B. Quase nenhum menciona que, com o volume que a maioria dos pequenos remetentes tem, um teste de assunto não consegue produzir uma resposta confiável. Você vai obter um número mesmo assim. Vai parecer que houve um vencedor mesmo assim. Só que é ruído de terno.
Esta é a versão honesta: o que vale testar primeiro, quantos e-mails um resultado precisa para significar alguma coisa, como identificar uma vitória falsa e o que fazer no lugar quando a matemática diz que um teste de verdade está fora do seu alcance. A aritmética está toda exposta para você refazer com seus próprios números.
Por que cold email é um terreno ruim para experimentos
Teste A/B funciona bem quando o que se mede acontece com frequência. Testes de checkout em e-commerce funcionam porque alguns por cento de milhares de visitantes convertem todo dia. Cold email é o oposto: o resultado que importa — uma resposta — acontece com cerca de 2% a 8% das pessoas contatadas, e um remetente pequeno toca algumas centenas de pessoas por mês, não algumas centenas de milhares. Evento raro mais volume pequeno é igual a incerteza enorme. Todo o resto deste artigo decorre dessa frase.
A métrica certa para testar
Teste em respostas e, quando der, em reuniões marcadas. Não em aberturas.
O rastreamento de aberturas está quebrado. Proxies de privacidade baixam as imagens antes de qualquer humano ver a mensagem, scanners de segurança clicam nos links para verificá-los e alguns clientes bloqueiam pixels por completo. O resultado é inflado de um lado pelo pré-carregamento automático e deflacionado do outro pelos pixels bloqueados, sem jeito de separar os dois. Uma "vitória" de assunto medida em aberturas costuma ser apenas a variante que caiu em mais caixas com proxies de imagem agressivos.
Respostas são mais chatas de contar, mas são reais: um humano leu e digitou algo de volta. Reuniões seriam melhores ainda, mas são mais raras, o que piora o problema de amostra — então otimize por respostas e confira com reuniões.
A aritmética: quantos e-mails você precisa?
Primeiro a regra, depois de onde ela vem.
Envios por variante ≈ 16 × p × (1 − p) ÷ d²
onde p é sua taxa média de resposta entre as duas variantes e d é a melhoria absoluta que você quer conseguir detectar. O 16 vem da exigência padrão de 95% de confiança e 80% de poder: (1,96 + 0,84)² ≈ 7,85, dobrado para cerca de 16 porque você compara dois grupos, e não um grupo contra um número fixo. Você não precisa acreditar na fórmula — basta rodá-la com os seus números.
Exemplo 1: um ganho realista
Sua taxa de resposta atual é 4% e você quer saber se uma variante nova leva a 6% — uma melhora relativa de 50%, uma mudança genuinamente valiosa.
- Média das duas taxas: p = 5%, então p × (1 − p) = 0,05 × 0,95 = 0,0475
- Diferença a detectar: d = 0,02, então d² = 0,0004
- 16 × 0,0475 ÷ 0,0004 = 0,76 ÷ 0,0004 = 1.900 envios por variante
São 3.800 e-mails para responder a uma pergunta sobre uma variável. Se você manda 300 cold emails por mês de um escritório pequeno em São Paulo, esse teste leva um ano — e até lá sua lista, sua oferta e os provedores de e-mail já mudaram debaixo de você.
Exemplo 2: um ganho modesto
Agora suponha que a versão nova só leve você de 4% para 5%.
- p = 4,5%, então p × (1 − p) = 0,045 × 0,955 = 0,042975
- d = 0,01, então d² = 0,0001
- 16 × 0,042975 ÷ 0,0001 ≈ 6.900 envios por variante
Quase 14.000 e-mails. Repare no que aconteceu: cortar o efeito pela metade quadruplicou a exigência, porque o tamanho da amostra escala com o quadrado da diferença. Esse é o fato mais importante do artigo — é ele que diz exatamente quais testes um remetente pequeno pode e não pode rodar.
Exemplo 3: uma mudança grande
Agora, em vez de ajustar palavras, você muda a oferta inteira — outra promessa, outro motivo para responder — e isso leva você de 4% para 8%.
- p = 6%, então p × (1 − p) = 0,06 × 0,94 = 0,0564
- d = 0,04, então d² = 0,0016
- 16 × 0,0564 ÷ 0,0016 ≈ 560 envios por variante
Cerca de 1.100 e-mails no total — alcançável em um ou dois meses. E se a mudança for drástica o bastante para levar você de 4% a 12%, a exigência cai para uns 185 por variante, cerca de 370 e-mails.
A conclusão é inevitável: remetentes pequenos só conseguem detectar mudanças grandes. Com volume modesto, testar "Uma pergunta rápida" contra "Uma pergunta rápida, {{Nome}}" queima a única capacidade experimental que você tem. Gaste-a em coisas capazes de dobrar sua taxa de resposta.
Por que 50 contra 50 não prova nada
O "teste" mais comum na prática: 50 e-mails com a versão A, 50 com a B. A recebe 3 respostas, B recebe 1. A versão A vence por 3×, o fundador reescreve a sequência inteira e a história acaba contada em uma conferência.
Olhe a incerteza. Com 3 respostas em 50, a taxa observada é 6%. O erro padrão é a raiz quadrada de (0,06 × 0,94 ÷ 50), cerca de 3,4 pontos percentuais, e um intervalo de 95% é aproximadamente a taxa observada mais ou menos dois erros padrão: de perto de 0% a cerca de 12,6%. Para a versão B, 1 resposta em 50 é 2%, erro padrão de cerca de 2,0 pontos, intervalo de aproximadamente 0% a 5,9%.
Essas faixas se sobrepõem em quase toda a largura. Os dados são igualmente compatíveis com A ser duas vezes melhor, com B ser um pouco melhor e com as duas serem idênticas. Três respostas contra uma é exatamente o que o acaso produz quando as duas versões têm a mesma taxa real — do mesmo jeito que quatro caras em cinco lançamentos não provam que a moeda é viciada.
A incerteza em tamanhos que parecem grandes
Duzentos envios por variante parecem um teste sério. A 4% de resposta, isso dá 8 respostas. O erro padrão é a raiz de (0,04 × 0,96 ÷ 200), cerca de 1,4 ponto, então a taxa real por trás dessas 8 respostas está em algum lugar entre 1,3% e 6,7%. Dentro de uma faixa dessas, não dá para separar uma variante medíocre de uma boa.
Um atalho útil: a incerteza é comandada pelo número de respostas, não pelo número de envios. Abaixo de mais ou menos 25–30 respostas por variante você está lendo borra de café; abaixo de 10, só está olhando a xícara. A 4% de resposta, 30 respostas significam 750 envios por variante.
O que testar primeiro, em ordem
Como você só pode se dar ao luxo de detectar efeitos grandes, teste coisas grandes.
1. A lista
Nada move a taxa de resposta como para quem você escreve. A mesma mensagem enviada a um segmento bem ajustado e a um mal ajustado pode variar por um fator de três ou mais — um efeito que um remetente pequeno consegue de fato medir. Divida por setor, porte da empresa, cidade, ou por haver um gatilho óbvio (unidade nova, contratações, captação recente). Se o gargalo é uma lista limpa e bem direcionada, isso é um problema de coleta de dados antes de ser de redação, e encurtar essa construção para um nicho específico é justamente para o que existem ferramentas como JustLeadIt.
2. A oferta
Não a redação — a oferta em si. Uma auditoria gratuita, um relatório comparativo, uma análise de 15 minutos e um piloto pago são propostas diferentes, e suas taxas de resposta se afastam por margens largas. Segunda maior alavanca e segunda mais mensurável.
3. O ângulo ou premissa de abertura
Por que você está escrevendo para esta empresa em específico? Uma mensagem ancorada em algo observável ("sua página de agendamento não abre no celular") joga em outra liga que um discurso genérico de capacidades. Mudanças de ângulo são grandes o bastante para serem detectadas.
4. O pedido (CTA)
Uma sondagem de interesse ("vale uma olhada?"), um link de agenda e um horário específico proposto produzem comportamentos de resposta realmente diferentes. Vale testar, mas espere efeitos menores que os de lista ou oferta — muitas vezes na faixa que exige mais volume do que você tem.
5. Assuntos e microtexto
Por último e, sinceramente, opcional em volume pequeno. O efeito do assunto sobre respostas costuma ser de um ou dois pontos, o que pela aritmética acima exige milhares de envios por variante. Escreva um assunto simples que não pareça marketing e siga em frente.
Como rodar um teste que não seja lixo
Uma variável por vez
Se você muda assunto, abertura e CTA de uma vez e as respostas sobem, aprendeu que este pacote vence aquele — não qual mudança fez efeito, e nada que possa levar para a próxima campanha. Em volume pequeno isso às vezes é uma troca aceitável: um teste "campeão contra desafiante" entre dois e-mails inteiros é um desenho legítimo. Só seja honesto sobre o que ele diz e o que não diz.
Randomize dentro da mesma lista e da mesma janela
O teste arruinado clássico: versão A na terça de manhã, versão B na quinta à tarde. Agora você está testando dia da semana, horário e texto ao mesmo tempo, sem conseguir separá-los. O mesmo vale se A vai para o seu melhor segmento e B para as sobras. Atribua cada contato a A ou B aleatoriamente dentro da mesma lista e da mesma janela de envio — alterne ao longo da lista se não tiver ferramenta. É a melhoria de qualidade mais barata que existe e a mais pulada.
Fique de olho na deriva de entregabilidade
Entregabilidade não é constante. Um domínio em aquecimento chega melhor à caixa de entrada na semana três do que na um, e um provedor pode começar a te limitar no meio da campanha. Se A saiu com o domínio saudável e B depois de um pico de reclamações de spam, o texto não teve nada a ver com o resultado. Pior: se uma variante contém uma palavra ou padrão de link que aciona um filtro, ela pode cair no spam para uma classe inteira de destinatários e parecer texto fraco quando simplesmente nunca foi lida. Confira o posicionamento por variante antes de acreditar nos números.
Não espie e interrompa
Olhar os resultados todo dia e declarar vencedor assim que uma variante abre vantagem é a forma confiável de fabricar vitórias falsas. No começo do teste a proporção balança muito — com 20 envios de cada lado, uma resposta a mais parece 100% de ganho. Parar quando a diferença está no máximo é selecionar ruído. Fixe o tamanho da amostra antes de começar e olhe uma vez no fim.
Conte suas comparações
Testar cinco variantes de uma vez, ou ler cinco métricas de um teste, é dar a si mesmo cinco chances de achar um resultado "significativo". No limiar usual de 95%, cerca de uma em vinte comparações dá falso positivo por puro acaso. Com cinco comparações, um vencedor espúrio é desfecho rotineiro, não azar.
O que remetentes pequenos deveriam fazer no lugar
Abrir mão do teste A/B não é voar às cegas. É trocar por métodos que funcionam em volume baixo — e rotular suas conclusões com honestidade.
Aprendizado por lotes sequenciais
Envie uma mensagem para um lote de 100–150 contatos e anote a taxa de resposta. Mude uma coisa grande — a oferta, o ângulo, o segmento — e rode o próximo lote. Mantenha um registro simples: lote, mudança, respostas.
Você não vai tirar significância estatística disso e não deve alegá-la. O que vai obter é um retrato ao longo de dez ou quinze lotes: algumas abordagens dão consistentemente 1–2 respostas por cem e outras dão consistentemente 6–8. Sinal direcional repetido em muitos lotes é informação real, mesmo sem p-valor. Só nunca aja com base em um único lote.
Leia as respostas, não só conte
Em 200 envios você terá umas oito respostas — estatisticamente inúteis, qualitativamente ouro. As pessoas não entendem o que você vende? Dizem "pessoa errada"? "Já temos alguém"? Cada uma aponta para um conserto diferente: clareza, segmentação, momento. As respostas negativas são as mais úteis de todas: "não é relevante, não fazemos X" diz que seu filtro de lista está errado, que é sua maior alavanca. É a atividade com maior informação por e-mail disponível para um remetente pequeno, e não exige tamanho de amostra nenhum.
Teste listas e ofertas, não frases
Como em volume baixo o tamanho do efeito é tudo, gaste seu orçamento experimental nas duas variáveis com maior efeito possível. Outro segmento vertical ou outra oferta podem plausivelmente levar você de 3% a 9%. Uma segunda frase reescrita não.
Rotule suas evidências com honestidade
Acostume-se a dizer: "direcionalmente, a oferta de auditoria parece melhor ao longo de quatro lotes — vale continuar, não está provado". Essa frase serve mais ao seu eu futuro do que uma certeza falsa. Times que mantêm um registro honesto decidem melhor no sexto mês do que times que rodaram uma dúzia de testes sem poder estatístico e acreditaram em todos.
Uma regra prática de decisão
Antes de montar qualquer teste: estime sua taxa de resposta atual p pelas últimas centenas de envios; decida a menor melhoria d que realmente mudaria seu comportamento; então calcule 16 × p × (1 − p) ÷ d². Se o resultado passar do que você consegue enviar em seis semanas, não rode o teste — faça aprendizado por lotes e diga isso claramente. Seis semanas não são arbitrárias: além disso, sazonalidade, desgaste da lista e deriva de entregabilidade contaminam a comparação a ponto de até um teste bem dimensionado deixar de ser limpo.
A versão curta
Teste A/B em cold email é real, mas é ferramenta de volume alto, e a maioria de quem usa não tem esse volume. Com base de 4%, detectar um salto para 6% custa cerca de 1.900 envios por variante; para 5%, cerca de 6.900; para 8%, cerca de 560. Por isso remetentes pequenos deveriam testar ofertas, listas e ângulos, e deixar a otimização de assunto para quem manda dezenas de milhares de e-mails por mês.
Meça respostas, não aberturas. Randomize dentro de uma lista e uma janela. Fixe o tamanho da amostra antes de começar e olhe uma vez. E quando a aritmética disser que um teste válido é impossível — o que será na maior parte das vezes — trabalhe em lotes sequenciais, leia cada resposta com atenção e chame sua evidência pelo nome: direcional. Incerteza honesta se acumula em bom julgamento. Certeza falsa se acumula em um ano otimizando a frase errada.