Kaltakquise-Mails A/B-testen, ohne sich zu täuschen

Fast jeder Ratgeber zur Kaltakquise per E-Mail empfiehlt, Betreffzeilen A/B zu testen. Fast keiner erwähnt, dass bei den Volumina, die kleine Absender haben, ein Betreffzeilentest gar keine belastbare Antwort liefern kann. Sie bekommen trotzdem eine Zahl. Es sieht trotzdem nach einem Gewinner aus. Es ist nur Rauschen im Anzug.

Das hier ist die ehrliche Version: was sich zuerst zu testen lohnt, wie viele Mails ein Ergebnis braucht, damit es etwas bedeutet, wie man einen Scheinsieg erkennt und was man stattdessen tut, wenn die Mathematik sagt, dass ein echter Test unmöglich ist. Die Rechnung steht vollständig da, damit Sie sie mit Ihren Zahlen wiederholen können.

Warum Kaltakquise ein schlechtes Feld für Experimente ist

A/B-Tests funktionieren gut, wenn das Gemessene häufig passiert. Checkout-Tests im E-Commerce funktionieren, weil täglich ein paar Prozent von Tausenden Besuchern konvertieren. Bei kalten Mails ist es umgekehrt: das Ergebnis, das zählt — eine Antwort — tritt bei etwa 2% bis 8% der Kontaktierten ein, und ein kleiner Absender erreicht ein paar hundert Menschen im Monat, nicht ein paar hunderttausend. Seltenes Ereignis plus kleines Volumen ergibt große Unsicherheit. Alles Weitere in diesem Artikel folgt aus diesem einen Satz.

Die richtige Kennzahl

Testen Sie auf Antworten und, wo möglich, auf vereinbarte Termine. Nicht auf Öffnungen.

Öffnungs-Tracking ist kaputt. Datenschutz-Proxys laden Bilder, bevor ein Mensch die Nachricht sieht, Sicherheitsscanner klicken Links zur Prüfung an, und manche Clients blockieren Pixel vollständig. Das Ergebnis ist in eine Richtung durch maschinelles Vorladen aufgebläht und in die andere durch blockierte Pixel gedrückt, ohne dass Sie beides trennen könnten. Ein an Öffnungen gemessener Betreffzeilen-"Sieg" ist oft nur die Variante, die in mehr Postfächern mit aggressiven Bild-Proxys landete.

Antworten sind mühsamer zu zählen, aber sie sind echt: ein Mensch hat gelesen und etwas zurückgeschrieben. Termine wären noch besser, sind aber seltener, was das Stichprobenproblem verschärft — optimieren Sie also auf Antworten und prüfen Sie gegen Termine.

Die Rechnung: wie viele Mails brauchen Sie?

Erst die Faustregel, dann ihre Herkunft.

Sendungen pro Variante ≈ 16 × p × (1 − p) ÷ d²

Dabei ist p Ihre durchschnittliche Antwortquote über beide Varianten und d die absolute Verbesserung, die Sie erkennen wollen. Die 16 stammt aus der Standardanforderung 95% Konfidenz und 80% Power: (1,96 + 0,84)² ≈ 7,85, verdoppelt auf rund 16, weil Sie zwei Gruppen vergleichen und nicht eine Gruppe gegen eine feste Zahl. Sie müssen der Formel nicht glauben — Sie müssen sie nur mit Ihren Zahlen rechnen.

Beispiel 1: eine realistische Steigerung

Ihre Antwortquote liegt bei 4% und Sie wollen wissen, ob eine neue Variante Sie auf 6% bringt — 50% relative Verbesserung, eine wirklich wertvolle Veränderung.

• Mittel der beiden Quoten: p = 5%, also p × (1 − p) = 0,05 × 0,95 = 0,0475
• Zu erkennende Differenz: d = 0,02, also d² = 0,0004
• 16 × 0,0475 ÷ 0,0004 = 0,76 ÷ 0,0004 = 1.900 Sendungen pro Variante

Das sind 3.800 Mails für die Antwort auf eine Frage zu einer Variablen. Wenn Sie aus einem kleinen Büro in Hamburg 300 Kaltmails im Monat verschicken, dauert dieser Test ein Jahr — und bis dahin haben sich Liste, Angebot und Mailprovider unter Ihnen verändert.

Beispiel 2: eine bescheidene Steigerung

Nehmen wir an, die neue Version bringt Sie nur von 4% auf 5%.

• p = 4,5%, also p × (1 − p) = 0,045 × 0,955 = 0,042975
• d = 0,01, also d² = 0,0001
• 16 × 0,042975 ÷ 0,0001 ≈ 6.900 Sendungen pro Variante

Fast 14.000 Mails. Beachten Sie, was passiert ist: die halbierte Effektgröße hat den Bedarf vervierfacht, denn die Stichprobengröße skaliert mit dem Quadrat der Differenz. Das ist die wichtigste Tatsache dieses Artikels — sie sagt Ihnen genau, welche Tests ein kleiner Absender führen kann und welche nicht.

Beispiel 3: ein großer Wurf

Statt an Formulierungen zu feilen, ändern Sie nun das ganze Angebot — anderes Versprechen, anderer Grund zu antworten — und das bringt Sie von 4% auf 8%.

• p = 6%, also p × (1 − p) = 0,06 × 0,94 = 0,0564
• d = 0,04, also d² = 0,0016
• 16 × 0,0564 ÷ 0,0016 ≈ 560 Sendungen pro Variante

Rund 1.100 Mails insgesamt — in ein bis zwei Monaten erreichbar. Und wenn die Änderung drastisch genug ist, um Sie von 4% auf 12% zu bringen, sinkt der Bedarf auf etwa 185 pro Variante, rund 370 Mails.

Der Schluss ist unausweichlich: kleine Absender können nur große Veränderungen erkennen. Bei bescheidenem Volumen verbrennt ein Test "Kurze Frage" gegen "Kurze Frage, {{Vorname}}" die einzige experimentelle Kapazität, die Sie haben. Setzen Sie sie für Dinge ein, die Ihre Antwortquote verdoppeln könnten.

Warum 50 gegen 50 nichts beweist

Der häufigste "Test" in freier Wildbahn: 50 Mails mit Version A, 50 mit Version B. A bekommt 3 Antworten, B eine. Version A gewinnt dreifach, der Gründer schreibt die ganze Sequenz um, und die Geschichte wird auf einer Konferenz erzählt.

Sehen Sie sich die Unsicherheit an. Bei 3 Antworten aus 50 liegt die beobachtete Quote bei 6%. Der Standardfehler ist die Wurzel aus (0,06 × 0,94 ÷ 50), etwa 3,4 Prozentpunkte, und ein 95%-Intervall ist grob die beobachtete Quote plus/minus zwei Standardfehler: von etwa 0% bis etwa 12,6%. Bei Version B sind 1 Antwort aus 50 gleich 2%, Standardfehler rund 2,0 Punkte, Intervall etwa 0% bis 5,9%.

Diese Bereiche überlappen sich fast auf ganzer Breite. Die Daten sind gleichermaßen vereinbar damit, dass A doppelt so gut ist, dass B leicht besser ist und dass beide identisch sind. Drei Antworten gegen eine ist genau das, was der Zufall produziert, wenn beide Versionen dieselbe wahre Quote haben — so wie vier Kopf aus fünf Würfen nicht beweist, dass die Münze gezinkt ist.

Die Unsicherheit bei scheinbar großen Zahlen

Zweihundert Sendungen pro Variante fühlen sich nach einem ernsthaften Test an. Bei 4% Antwortquote sind das 8 Antworten. Der Standardfehler ist die Wurzel aus (0,04 × 0,96 ÷ 200), etwa 1,4 Punkte, also liegt die wahre Quote hinter diesen 8 Antworten irgendwo zwischen 1,3% und 6,7%. In einer so breiten Spanne lässt sich eine mittelmäßige nicht von einer guten Variante trennen.

Eine nützliche Abkürzung: die Unsicherheit wird von der Zahl der Antworten bestimmt, nicht von der Zahl der Sendungen. Unter etwa 25–30 Antworten pro Variante lesen Sie Kaffeesatz; unter 10 schauen Sie nur in die Tasse. Bei 4% Antwortquote bedeuten 30 Antworten 750 Sendungen pro Variante.

Was Sie zuerst testen sollten

Da Sie sich nur große Effekte leisten können, testen Sie große Dinge.

1. Die Liste

Nichts bewegt Antwortquoten so sehr wie die Frage, wem Sie schreiben. Dieselbe Nachricht an ein gut passendes und an ein lose passendes Segment kann sich um den Faktor drei oder mehr unterscheiden — ein Effekt, den ein kleiner Absender wirklich messen kann. Trennen Sie nach Branche, Unternehmensgröße, Stadt oder danach, ob ein offensichtlicher Anlass vorliegt (neuer Standort, Einstellungen, frische Finanzierung). Wenn eine saubere, eng gefasste Liste der Engpass ist, ist das zuerst ein Datenbeschaffungs- und dann erst ein Textproblem — und genau diesen Aufbau für eine konkrete Nische abzukürzen, dafür gibt es Werkzeuge wie JustLeadIt.

2. Das Angebot

Nicht die Formulierung — das Angebot selbst. Ein kostenloses Audit, ein Benchmark-Report, eine 15-minütige Analyse und ein bezahlter Pilot sind verschiedene Vorschläge, und ihre Antwortquoten liegen weit auseinander. Der zweitstärkste Hebel und der zweitmessbarste.

3. Der Aufhänger

Warum schreiben Sie genau diesem Unternehmen? Eine Nachricht, die an etwas Beobachtbarem hängt ("Ihre Buchungsseite lädt mobil nicht"), spielt in einer anderen Liga als ein generischer Leistungspitch. Änderungen am Aufhänger sind groß genug, um messbar zu sein.

4. Die Bitte (CTA)

Eine Interessensabfrage ("lohnt sich ein Blick?"), ein Kalenderlink und ein konkreter Terminvorschlag erzeugen wirklich unterschiedliches Antwortverhalten. Testenswert, aber erwarten Sie kleinere Effekte als bei Liste oder Angebot — oft genau in dem Bereich, der mehr Volumen braucht, als Sie haben.

5. Betreffzeilen und Mikrotexte

Zuletzt und bei kleinem Volumen ehrlich gesagt optional. Der Effekt der Betreffzeile auf Antworten beträgt meist ein bis zwei Punkte, was nach obiger Rechnung Tausende Sendungen pro Variante verlangt. Schreiben Sie einen schlichten Betreff, der nicht nach Marketing aussieht, und machen Sie weiter.

So testen Sie nicht müllhaft

Eine Variable zur Zeit

Wenn Sie Betreff, Einstieg und CTA gleichzeitig ändern und die Antworten steigen, wissen Sie, dass dieses Bündel jenes schlägt — nicht, welche Änderung es war, und nichts, was Sie in die nächste Kampagne mitnehmen können. Bei kleinem Volumen ist das manchmal ein akzeptabler Tausch: ein "Champion gegen Herausforderer"-Test zweier ganzer Mails ist ein legitimes Design. Seien Sie nur ehrlich darüber, was er aussagt und was nicht.

Randomisieren Sie innerhalb derselben Liste und desselben Zeitfensters

Der klassisch ruinierte Test: Version A Dienstagmorgen, Version B Donnerstagnachmittag. Jetzt testen Sie Wochentag, Tageszeit und Text zugleich und können sie nicht trennen. Dasselbe gilt, wenn A an Ihr bestes Segment und B an den Rest geht. Weisen Sie jedem Kontakt zufällig A oder B zu, innerhalb einer Liste und eines Sendefensters — notfalls im Wechsel die Liste hinunter. Es ist die billigste Qualitätsverbesserung überhaupt und wird am häufigsten übersprungen.

Achten Sie auf Zustellbarkeits-Drift

Zustellbarkeit ist keine Konstante. Eine sich aufwärmende Domain landet in Woche drei besser im Posteingang als in Woche eins, und ein Provider kann mitten in der Kampagne drosseln. Lief A bei gesunder Domain und B nach einem Spam-Beschwerdenanstieg, hatte der Text mit dem Ergebnis nichts zu tun. Schlimmer: enthält eine Variante ein Wort oder Linkmuster, das einen Filter auslöst, landet sie für eine ganze Empfängerklasse im Spam und sieht nach schwachem Text aus, obwohl sie nie gelesen wurde. Prüfen Sie die Platzierung pro Variante, bevor Sie den Zahlen glauben.

Nicht zwischendurch schauen und abbrechen

Täglich nachsehen und den Sieger ausrufen, sobald eine Variante vorne liegt, produziert zuverlässig Scheinsiege. Früh im Test schwankt das Verhältnis wild — bei 20 Sendungen je Seite sieht eine zusätzliche Antwort nach 100% Steigerung aus. Beim größten Abstand zu stoppen heißt, Rauschen auszuwählen. Legen Sie die Stichprobengröße vorher fest und schauen Sie einmal am Ende.

Zählen Sie Ihre Vergleiche

Wer fünf Varianten gleichzeitig testet oder fünf Kennzahlen aus einem Test liest, gibt sich fünf Chancen auf ein "signifikantes" Ergebnis. Bei der üblichen 95%-Schwelle liefert etwa einer von zwanzig Vergleichen rein zufällig ein falsch positives Ergebnis. Bei fünf Vergleichen ist ein Scheingewinner Routine, kein Pech.

Was kleine Absender stattdessen tun sollten

Auf A/B-Tests zu verzichten heißt nicht, blind zu fliegen. Es heißt, auf Methoden umzusteigen, die bei kleinem Volumen funktionieren — und deren Ergebnisse ehrlich zu etikettieren.

Sequenzielles Lernen in Chargen

Schicken Sie eine Nachricht an eine Charge von 100–150 Kontakten und notieren Sie die Antwortquote. Ändern Sie eine große Sache — Angebot, Aufhänger, Segment — und starten Sie die nächste Charge. Führen Sie ein einfaches Protokoll: Charge, Änderung, Antworten.

Statistische Signifikanz bekommen Sie daraus nicht und sollten sie nicht behaupten. Was Sie bekommen, ist ein Bild über zehn bis fünfzehn Chargen: manche Ansätze liefern konstant 1–2 Antworten pro hundert, andere konstant 6–8. Ein wiederholtes Richtungssignal über viele Chargen ist echte Information, auch ohne p-Wert. Handeln Sie nur nie auf Basis einer einzigen Charge.

Lesen Sie die Antworten, zählen Sie sie nicht nur

Bei 200 Sendungen haben Sie vielleicht acht Antworten — statistisch wertlos, qualitativ Gold. Verstehen die Leute nicht, was Sie verkaufen? Schreiben sie "falscher Ansprechpartner"? "Wir haben schon jemanden"? Jedes weist auf eine andere Korrektur hin: Klarheit, Zielgruppe, Timing. Am nützlichsten sind negative Antworten: "nicht relevant, wir machen kein X" sagt Ihnen, dass Ihr Listenfilter falsch ist — Ihr größter Hebel. Das ist die informationsreichste Tätigkeit pro Mail für kleine Absender und verlangt überhaupt keine Stichprobengröße.

Testen Sie Listen und Angebote, keine Sätze

Weil bei kleinem Volumen die Effektgröße alles ist, stecken Sie Ihr Experimentierbudget in die beiden Variablen mit dem größtmöglichen Effekt. Eine andere Branche oder ein anderes Angebot kann Sie plausibel von 3% auf 9% bringen. Ein umgeschriebener zweiter Satz nicht.

Etikettieren Sie Ihre Evidenz ehrlich

Gewöhnen Sie sich an zu sagen: "Der Richtung nach sieht das Audit-Angebot über vier Chargen besser aus — weiterverfolgen, nicht bewiesen." Dieser Satz nützt Ihrem künftigen Ich mehr als falsche Gewissheit. Teams, die ein ehrliches Protokoll führen, entscheiden im sechsten Monat besser als Teams, die ein Dutzend unterdimensionierte Tests liefen und jedem geglaubt haben.

Eine praktische Entscheidungsregel

Bevor Sie irgendeinen Test aufsetzen: schätzen Sie Ihre aktuelle Antwortquote p aus den letzten paar hundert Sendungen; entscheiden Sie die kleinste Verbesserung d, die Ihr Verhalten tatsächlich ändern würde; rechnen Sie 16 × p × (1 − p) ÷ d². Übersteigt das Ergebnis, was Sie in sechs Wochen versenden können, lassen Sie den Test — machen Sie sequenzielles Chargenlernen und sagen Sie es auch so. Sechs Wochen sind nicht willkürlich: darüber hinaus verunreinigen Saisonalität, Listenverfall und Zustellbarkeits-Drift den Vergleich so stark, dass selbst ein korrekt dimensionierter Test nicht mehr sauber ist.

Die Kurzfassung

A/B-Tests für Kaltakquise-Mails sind real, aber ein Werkzeug für große Volumina, und die meisten, die es benutzen, haben dieses Volumen nicht. Bei einer Basis von 4% kostet das Erkennen eines Sprungs auf 6% rund 1.900 Sendungen pro Variante; auf 5% rund 6.900; auf 8% rund 560. Deshalb sollten kleine Absender Angebote, Listen und Aufhänger testen und die Betreffzeilenoptimierung denen überlassen, die Zehntausende Mails im Monat verschicken.

Messen Sie Antworten, nicht Öffnungen. Randomisieren Sie innerhalb einer Liste und eines Zeitfensters. Legen Sie die Stichprobengröße vorher fest und schauen Sie einmal. Und wenn die Rechnung sagt, dass kein gültiger Test möglich ist — und das wird meistens so sein — arbeiten Sie in Chargen, lesen Sie jede Antwort genau und nennen Sie Ihre Evidenz, was sie ist: eine Richtungsangabe. Ehrliche Unsicherheit summiert sich zu gutem Urteil. Falsche Gewissheit summiert sich zu einem Jahr Optimierung am falschen Satz.