Tester ses emails à froid en A/B sans se mentir

Presque tous les guides de cold email vous disent de tester vos objets en A/B. Presque aucun ne précise qu'avec le volume dont dispose la plupart des petits expéditeurs, un test d'objet ne peut pas produire de réponse fiable. Vous obtiendrez quand même un chiffre. Il y aura quand même l'air d'y avoir un gagnant. Ce sera juste du bruit en costume.

Voici la version honnête : ce qui mérite d'être testé en premier, combien d'emails il faut pour qu'un résultat veuille dire quelque chose, comment repérer une fausse victoire, et quoi faire à la place quand les maths disent qu'un vrai test est hors de portée. Les calculs sont donnés en entier pour que vous les refassiez avec vos chiffres.

Pourquoi le cold email est un mauvais terrain d'expérimentation

Le test A/B fonctionne bien quand ce que l'on mesure arrive souvent. Les tests de tunnel d'achat en e-commerce marchent parce que quelques pourcents de milliers de visiteurs convertissent chaque jour. Le cold email, c'est l'inverse : le résultat qui vous intéresse — une réponse — survient chez environ 2% à 8% des personnes contactées, et un petit expéditeur touche quelques centaines de personnes par mois, pas quelques centaines de milliers. Événement rare plus petit volume égale incertitude énorme. Tout le reste de cet article découle de cette phrase.

La métrique sur laquelle tester

Testez sur les réponses et, quand vous le pouvez, sur les rendez-vous obtenus. Pas sur les ouvertures.

Le suivi des ouvertures est cassé. Les proxys de confidentialité chargent les images avant qu'un humain ne voie le message, les scanners de sécurité cliquent les liens pour les vérifier, et certains clients bloquent les pixels entièrement. Le résultat est gonflé d'un côté par le préchargement machine et rabaissé de l'autre par les pixels bloqués, sans moyen de séparer les deux. Une « victoire » d'objet mesurée en ouvertures n'est souvent que la variante tombée dans davantage de boîtes équipées de proxys d'images agressifs.

Les réponses sont plus pénibles à compter mais elles sont réelles : un humain a lu et a tapé quelque chose. Les rendez-vous seraient encore meilleurs, mais plus rares, ce qui aggrave le problème de taille d'échantillon — optimisez donc sur les réponses et vérifiez avec les rendez-vous.

Le calcul : combien d'emails vous faut-il ?

D'abord la règle, ensuite son origine.

Envois par variante ≈ 16 × p × (1 − p) ÷ d²

où p est votre taux de réponse moyen sur les deux variantes et d l'amélioration absolue que vous voulez pouvoir détecter. Le 16 vient de l'exigence standard de 95% de confiance et 80% de puissance : (1,96 + 0,84)² ≈ 7,85, doublé à environ 16 parce que vous comparez deux groupes et non un groupe à un nombre fixe. Vous n'avez pas à croire la formule — il suffit de la faire tourner sur vos chiffres.

Exemple 1 : un gain réaliste

Votre taux de réponse actuel est de 4% et vous voulez savoir si une nouvelle variante vous amène à 6% — une amélioration relative de 50%, un changement vraiment précieux.

• Moyenne des deux taux : p = 5%, donc p × (1 − p) = 0,05 × 0,95 = 0,0475
• Différence à détecter : d = 0,02, donc d² = 0,0004
• 16 × 0,0475 ÷ 0,0004 = 0,76 ÷ 0,0004 = 1 900 envois par variante

Soit 3 800 emails pour répondre à une question sur une variable. Si vous envoyez 300 emails à froid par mois depuis un petit bureau à Lyon, ce test dure un an — et d'ici là votre liste, votre offre et les fournisseurs de messagerie auront tous changé sous vos pieds.

Exemple 2 : un gain modeste

Supposons maintenant que la nouvelle version ne vous fasse passer que de 4% à 5%.

• p = 4,5%, donc p × (1 − p) = 0,045 × 0,955 = 0,042975
• d = 0,01, donc d² = 0,0001
• 16 × 0,042975 ÷ 0,0001 ≈ 6 900 envois par variante

Près de 14 000 emails. Remarquez ce qui s'est passé : diviser l'effet par deux a quadruplé l'exigence, car la taille d'échantillon évolue comme le carré de la différence. C'est le fait le plus important de cet article : il vous dit exactement quels tests un petit expéditeur peut ou ne peut pas mener.

Exemple 3 : un grand écart

Cette fois, au lieu de retoucher la formulation, vous changez toute l'offre — autre promesse, autre raison de répondre — et cela vous fait passer de 4% à 8%.

• p = 6%, donc p × (1 − p) = 0,06 × 0,94 = 0,0564
• d = 0,04, donc d² = 0,0016
• 16 × 0,0564 ÷ 0,0016 ≈ 560 envois par variante

Environ 1 100 emails au total — atteignable en un ou deux mois. Et si le changement est assez radical pour vous faire passer de 4% à 12%, l'exigence tombe à environ 185 par variante, soit près de 370 emails.

La conclusion est inévitable : un petit expéditeur ne peut détecter que de grands changements. À volume modeste, tester « Une question rapide » contre « Une question rapide, {{Prénom}} » brûle la seule capacité expérimentale dont vous disposez. Dépensez-la sur ce qui pourrait doubler votre taux de réponse.

Pourquoi 50 contre 50 ne prouve rien

Le « test » le plus courant sur le terrain : 50 emails en version A, 50 en version B. A obtient 3 réponses, B en obtient 1. La version A gagne par 3×, le fondateur réécrit toute la séquence, et l'histoire finit racontée en conférence.

Regardez l'incertitude. Avec 3 réponses sur 50, le taux observé est de 6%. L'erreur type est la racine carrée de (0,06 × 0,94 ÷ 50), soit environ 3,4 points de pourcentage, et un intervalle à 95% vaut à peu près le taux observé plus ou moins deux erreurs types : d'environ 0% à environ 12,6%. Pour la version B, 1 réponse sur 50 fait 2%, erreur type d'environ 2,0 points, intervalle d'environ 0% à 5,9%.

Ces plages se recouvrent sur presque toute leur largeur. Les données sont tout aussi compatibles avec un A deux fois meilleur, avec un B légèrement meilleur, et avec deux versions identiques. Trois réponses contre une, c'est exactement ce que produit le hasard quand les deux versions ont le même taux réel — de la même façon que quatre piles sur cinq lancers ne prouvent pas que la pièce est truquée.

L'incertitude à des tailles qui semblent grandes

Deux cents envois par variante ont l'air d'un test sérieux. À 4% de réponse, cela fait 8 réponses. L'erreur type est la racine de (0,04 × 0,96 ÷ 200), environ 1,4 point, donc le taux réel derrière ces 8 réponses se situe quelque part entre 1,3% et 6,7%. Dans un écart aussi large, impossible de distinguer une variante médiocre d'une bonne.

Un raccourci utile : l'incertitude est pilotée par le nombre de réponses, pas par le nombre d'envois. En dessous d'environ 25–30 réponses par variante, vous lisez dans le marc de café ; en dessous de 10, vous regardez juste la tasse. À 4% de réponse, 30 réponses signifient 750 envois par variante.

Quoi tester en premier, dans l'ordre

Puisque vous ne pouvez vous offrir que la détection de grands effets, testez de grandes choses.

1. La liste

Rien ne déplace le taux de réponse comme le choix des destinataires. Le même message envoyé à un segment bien ciblé et à un segment approximatif peut différer d'un facteur trois ou plus — un effet qu'un petit expéditeur peut vraiment mesurer. Découpez par secteur, taille d'entreprise, ville, ou selon la présence d'un déclencheur évident (nouvel établissement, recrutements, levée récente). Si le goulot d'étranglement est une liste propre et bien ciblée, c'est un problème de collecte avant d'être un problème d'écriture, et raccourcir cette construction pour une niche précise est exactement la raison d'être d'outils comme JustLeadIt.

2. L'offre

Pas la formulation — l'offre elle-même. Un audit gratuit, un rapport comparatif, une analyse de 15 minutes et un pilote payant sont des propositions différentes, et leurs taux de réponse s'écartent largement. Deuxième levier le plus puissant et deuxième le plus mesurable.

3. L'angle ou la prémisse d'ouverture

Pourquoi écrivez-vous à cette entreprise en particulier ? Un message accroché à quelque chose d'observable (« votre page de réservation ne charge pas sur mobile ») joue dans une autre catégorie qu'un discours générique sur vos compétences. Les changements d'angle sont assez grands pour être détectés.

4. La demande (CTA)

Un test d'intérêt (« ça vaut le coup d'œil ? »), un lien d'agenda et une proposition d'horaire précise produisent des comportements de réponse réellement différents. Cela vaut la peine d'être testé, mais attendez-vous à des effets plus petits que ceux de la liste ou de l'offre — souvent dans la plage qui demande plus de volume que vous n'en avez.

5. Objets et micro-copie

En dernier et, franchement, facultatif à petit volume. L'effet de l'objet sur les réponses se compte en général en un ou deux points, ce qui, d'après le calcul ci-dessus, exige des milliers d'envois par variante. Écrivez un objet sobre qui ne ressemble pas à du marketing, et passez à autre chose.

Comment mener un test qui ne soit pas de la camelote

Une variable à la fois

Si vous changez l'objet, l'accroche et le CTA d'un coup et que les réponses montent, vous avez appris que ce paquet bat cet autre paquet — pas quel changement a agi, et rien que vous puissiez emporter dans la campagne suivante. À petit volume, c'est parfois un arbitrage acceptable : un test « champion contre challenger » entre deux emails entiers est un design légitime. Soyez juste honnête sur ce qu'il dit et ce qu'il ne dit pas.

Randomisez dans la même liste et la même fenêtre

Le test gâché classique : version A le mardi matin, version B le jeudi après-midi. Vous testez désormais le jour, l'heure et le texte en même temps, sans pouvoir les séparer. Idem si A part sur votre meilleur segment et B sur les restes. Affectez chaque contact à A ou B au hasard dans la même liste et la même fenêtre d'envoi — alternez au fil de la liste si vous n'avez pas d'outil. C'est l'amélioration de qualité la moins chère qui existe, et la plus souvent sautée.

Surveillez la dérive de délivrabilité

La délivrabilité n'est pas une constante. Un domaine en chauffe atteint mieux la boîte de réception en semaine trois qu'en semaine une, et un fournisseur peut se mettre à vous brider en pleine campagne. Si A est parti avec un domaine sain et B après un pic de plaintes pour spam, le texte n'y est pour rien. Pire : si une variante contient un mot ou un motif de lien qui déclenche un filtre, elle peut tomber en spam pour toute une classe de destinataires et passer pour un mauvais texte alors qu'elle n'a jamais été lue. Vérifiez le placement par variante avant de croire les chiffres.

Ne regardez pas en cours de route pour arrêter

Consulter les résultats chaque jour et déclarer un gagnant dès qu'une variante prend l'avantage est le moyen fiable de fabriquer de fausses victoires. Au début d'un test, le rapport oscille violemment : à 20 envois par côté, une réponse de plus ressemble à +100%. S'arrêter au moment où l'écart est maximal, c'est sélectionner du bruit. Fixez la taille d'échantillon avant de commencer, puis regardez une seule fois à la fin.

Comptez vos comparaisons

Tester cinq variantes d'un coup, ou lire cinq métriques sur un test, c'est se donner cinq chances de trouver un résultat « significatif ». Au seuil habituel de 95%, environ une comparaison sur vingt produit un faux positif par pur hasard. À cinq comparaisons, un gagnant fantôme est une issue banale, pas de la malchance.

Ce qu'un petit expéditeur devrait faire à la place

Renoncer au test A/B, ce n'est pas voler à l'aveugle. C'est passer à des méthodes qui fonctionnent à faible volume — et étiqueter honnêtement leurs conclusions.

Apprentissage par lots successifs

Envoyez un message à un lot de 100–150 contacts et notez le taux de réponse. Changez une grande chose — l'offre, l'angle, le segment — et lancez le lot suivant. Tenez un journal simple : lot, changement, réponses.

Vous n'en tirerez pas de significativité statistique et vous ne devez pas la revendiquer. Ce que vous obtiendrez, c'est une image sur dix ou quinze lots : certaines approches donnent régulièrement 1–2 réponses pour cent, d'autres régulièrement 6–8. Un signal directionnel répété sur de nombreux lots est une vraie information, même sans p-value. N'agissez simplement jamais sur un seul lot.

Lisez les réponses, ne les comptez pas seulement

À 200 envois vous aurez peut-être huit réponses — statistiquement inutiles, qualitativement en or. Les gens ne comprennent-ils pas ce que vous vendez ? Disent-ils « mauvaise personne » ? « Nous avons déjà quelqu'un » ? Chacune pointe vers un correctif différent : clarté, ciblage, timing. Les réponses négatives sont les plus utiles de toutes : « pas pertinent, nous ne faisons pas X » vous dit que votre filtre de liste est faux, votre plus gros levier. C'est l'activité au meilleur rapport information/email pour un petit expéditeur, et elle n'exige aucune taille d'échantillon.

Testez des listes et des offres, pas des phrases

Puisque à faible volume la taille de l'effet fait tout, dépensez votre budget expérimental sur les deux variables au plus fort effet possible. Un autre secteur ou une autre offre peuvent plausiblement vous faire passer de 3% à 9%. Une deuxième phrase réécrite, non.

Étiquetez vos preuves honnêtement

Habituez-vous à dire : « directionnellement, l'offre d'audit semble meilleure sur quatre lots — à poursuivre, non démontré ». Cette phrase sert davantage votre vous futur qu'une fausse certitude. Les équipes qui tiennent un journal honnête décident mieux au sixième mois que celles qui ont lancé une douzaine de tests sous-dimensionnés en croyant chacun d'eux.

Une règle de décision pratique

Avant de monter le moindre test : estimez votre taux de réponse actuel p sur vos dernières centaines d'envois ; décidez la plus petite amélioration d qui changerait réellement votre comportement ; puis calculez 16 × p × (1 − p) ÷ d². Si le résultat dépasse ce que vous pouvez envoyer en six semaines, ne lancez pas le test — faites de l'apprentissage par lots et dites-le. Six semaines n'ont rien d'arbitraire : au-delà, la saisonnalité, l'usure de la liste et la dérive de délivrabilité contaminent la comparaison au point qu'un test même correctement dimensionné cesse d'être propre.

La version courte

Le test A/B en cold email est réel, mais c'est un outil de gros volume et la plupart de ceux qui l'utilisent n'ont pas ce volume. À une base de 4%, détecter un passage à 6% coûte environ 1 900 envois par variante ; à 5%, environ 6 900 ; à 8%, environ 560. C'est pourquoi les petits expéditeurs devraient tester des offres, des listes et des angles, et laisser l'optimisation d'objets à ceux qui envoient des dizaines de milliers d'emails par mois.

Mesurez les réponses, pas les ouvertures. Randomisez dans une seule liste et une seule fenêtre. Fixez la taille d'échantillon avant de commencer et regardez une fois. Et quand le calcul dit qu'aucun test valide n'est possible — ce sera le cas la plupart du temps — travaillez par lots successifs, lisez chaque réponse attentivement, et appelez vos preuves par leur nom : directionnelles. L'incertitude honnête se cumule en bon jugement. La fausse certitude se cumule en une année à optimiser la mauvaise phrase.