कोल्ड ईमेल का A/B टेस्ट कैसे करें, बिना खुद को धोखा दिए

कोल्ड ईमेल की लगभग हर गाइड कहती है कि सब्जेक्ट लाइन का A/B टेस्ट करो। लगभग कोई नहीं बताता कि जितना वॉल्यूम ज़्यादातर छोटे भेजने वालों के पास होता है, उसमें सब्जेक्ट लाइन का टेस्ट भरोसेमंद जवाब दे ही नहीं सकता। नंबर फिर भी मिलेगा। जीतने वाला फिर भी दिखेगा। बस वह सूट पहना हुआ शोर होगा।

यह ईमानदार वर्ज़न है: पहले क्या टेस्ट करना चाहिए, किसी नतीजे को मतलब रखने के लिए कितने ईमेल चाहिए, झूठी जीत कैसे पहचानें, और जब गणित कहे कि असली टेस्ट आपके बस का नहीं, तब उसकी जगह क्या करें। पूरा हिसाब खोलकर दिया गया है ताकि आप अपने नंबरों से दोहरा सकें।

कोल्ड ईमेल प्रयोग के लिए खराब ज़मीन क्यों है

A/B टेस्ट तब अच्छा चलता है जब जिस चीज़ को आप माप रहे हैं वह अक्सर होती हो। ई-कॉमर्स के चेकआउट टेस्ट इसलिए काम करते हैं क्योंकि हर दिन हज़ारों विज़िटर में से कुछ प्रतिशत कन्वर्ट होते हैं। कोल्ड ईमेल इसका उल्टा है: जो नतीजा आपके काम का है — एक जवाब — वह संपर्क किए गए लोगों में से लगभग 2% से 8% के साथ होता है, और छोटा भेजने वाला महीने में कुछ सौ लोगों तक पहुँचता है, कुछ लाख तक नहीं। दुर्लभ घटना और छोटा वॉल्यूम मिलकर बहुत बड़ी अनिश्चितता बनाते हैं। इस लेख का बाकी सब कुछ इसी एक वाक्य से निकलता है।

किस मीट्रिक पर टेस्ट करें

जवाबों पर टेस्ट करें और जहाँ हो सके, तय हुई मीटिंग्स पर। ओपन रेट पर नहीं।

ओपन ट्रैकिंग टूट चुकी है। प्राइवेसी प्रॉक्सी इंसान के देखने से पहले ही इमेज लोड कर देते हैं, सिक्योरिटी स्कैनर लिंक जाँचने के लिए क्लिक कर देते हैं, और कुछ क्लाइंट पिक्सेल पूरी तरह ब्लॉक कर देते हैं। नतीजा एक तरफ मशीनी प्री-लोडिंग से फूला हुआ और दूसरी तरफ ब्लॉक पिक्सेल से दबा हुआ है, और दोनों को अलग करने का कोई तरीका आपके पास नहीं। ओपन में मापी गई सब्जेक्ट लाइन की "जीत" अक्सर बस वह वेरिएंट होती है जो आक्रामक इमेज प्रॉक्सी वाले ज़्यादा इनबॉक्स में गिरा।

जवाब गिनने में झंझट हैं, पर असली हैं: किसी इंसान ने पढ़ा और कुछ लिखकर भेजा। मीटिंग्स और भी बेहतर होतीं, पर वे दुर्लभ हैं, जिससे सैंपल साइज़ की दिक्कत और बढ़ जाती है — इसलिए जवाबों पर ऑप्टिमाइज़ करें और मीटिंग्स से मिलान करते रहें।

गणित: कितने ईमेल चाहिए?

पहले नियम, फिर वह कहाँ से आया।

प्रति वेरिएंट भेजे जाने वाले ईमेल ≈ 16 × p × (1 − p) ÷ d²

जहाँ p दोनों वेरिएंट की औसत रिप्लाई दर है और d वह पूर्ण सुधार है जिसे आप पकड़ पाना चाहते हैं। 16 का आंकड़ा 95% कॉन्फिडेंस और 80% पावर की मानक शर्त से आता है: (1.96 + 0.84)² ≈ 7.85, जिसे दोगुना करके लगभग 16 किया जाता है क्योंकि आप दो समूहों की तुलना कर रहे हैं, एक समूह की किसी तय संख्या से नहीं। फॉर्मूले पर भरोसा करना ज़रूरी नहीं — बस इसे अपने नंबरों पर चला लीजिए।

उदाहरण 1: यथार्थवादी सुधार

अभी आपकी रिप्लाई दर 4% है और आप जानना चाहते हैं कि नया वेरिएंट आपको 6% तक ले जाता है या नहीं — यानी 50% सापेक्ष सुधार, सचमुच कीमती बदलाव।

• दोनों दरों का औसत: p = 5%, यानी p × (1 − p) = 0.05 × 0.95 = 0.0475
• पकड़ने लायक अंतर: d = 0.02, यानी d² = 0.0004
• 16 × 0.0475 ÷ 0.0004 = 0.76 ÷ 0.0004 = 1,900 ईमेल प्रति वेरिएंट

यानी एक वेरिएबल पर एक सवाल का जवाब पाने के लिए 3,800 ईमेल। अगर आप बेंगलुरु के किसी छोटे दफ़्तर से महीने में 300 कोल्ड ईमेल भेजते हैं, तो यह टेस्ट एक साल चलेगा — और तब तक आपकी लिस्ट, आपका ऑफर और ईमेल प्रोवाइडर, सब आपके नीचे से बदल चुके होंगे।

उदाहरण 2: मामूली सुधार

अब मान लीजिए नया वर्ज़न आपको 4% से सिर्फ़ 5% तक ले जाता है।

• p = 4.5%, यानी p × (1 − p) = 0.045 × 0.955 = 0.042975
• d = 0.01, यानी d² = 0.0001
• 16 × 0.042975 ÷ 0.0001 ≈ 6,900 ईमेल प्रति वेरिएंट

करीब 14,000 ईमेल। ध्यान दीजिए क्या हुआ: असर आधा हुआ तो ज़रूरत चार गुना हो गई, क्योंकि सैंपल साइज़ अंतर के वर्ग के अनुपात में बढ़ता है। यह इस लेख का सबसे अहम तथ्य है — यही बताता है कि छोटा भेजने वाला कौन-से टेस्ट कर सकता है और कौन-से नहीं।

उदाहरण 3: बड़ा बदलाव

अब शब्दों को सुधारने के बजाय आप पूरा ऑफर बदल देते हैं — अलग वादा, जवाब देने की अलग वजह — और इससे आप 4% से 8% पर पहुँच जाते हैं।

• p = 6%, यानी p × (1 − p) = 0.06 × 0.94 = 0.0564
• d = 0.04, यानी d² = 0.0016
• 16 × 0.0564 ÷ 0.0016 ≈ 560 ईमेल प्रति वेरिएंट

कुल मिलाकर लगभग 1,100 ईमेल — एक-दो महीने में पहुँच के भीतर। और अगर बदलाव इतना बड़ा हो कि आप 4% से 12% पर पहुँच जाएँ, तो ज़रूरत घटकर लगभग 185 प्रति वेरिएंट रह जाती है, यानी करीब 370 ईमेल।

निष्कर्ष टाला नहीं जा सकता: छोटा भेजने वाला सिर्फ़ बड़े बदलाव ही पकड़ सकता है। कम वॉल्यूम पर "एक छोटा सवाल" बनाम "एक छोटा सवाल, {{नाम}}" टेस्ट करना आपकी इकलौती प्रयोग-क्षमता जला देता है। उसे उन चीज़ों पर खर्च कीजिए जो आपकी रिप्लाई दर दोगुनी कर सकती हैं।

50 बनाम 50 कुछ भी साबित क्यों नहीं करता

असल दुनिया का सबसे आम "टेस्ट": 50 ईमेल वर्ज़न A के, 50 वर्ज़न B के। A को 3 जवाब मिलते हैं, B को 1। वर्ज़न A तीन गुना जीतता है, फ़ाउंडर पूरी सीक्वेंस दोबारा लिखता है, और किस्सा किसी कॉन्फ्रेंस में सुनाया जाता है।

अनिश्चितता देखिए। 50 में से 3 जवाब यानी देखी गई दर 6%। स्टैंडर्ड एरर है (0.06 × 0.94 ÷ 50) का वर्गमूल, लगभग 3.4 प्रतिशत अंक, और 95% अंतराल मोटे तौर पर देखी गई दर में दो स्टैंडर्ड एरर जोड़-घटाकर बनता है: लगभग 0% से लगभग 12.6% तक। वर्ज़न B के लिए 50 में से 1 जवाब यानी 2%, स्टैंडर्ड एरर लगभग 2.0 अंक, अंतराल लगभग 0% से 5.9%।

ये दोनों रेंज लगभग पूरी चौड़ाई में एक-दूसरे पर चढ़ जाती हैं। यही डेटा इस बात से भी मेल खाता है कि A दोगुना अच्छा है, इससे भी कि B थोड़ा बेहतर है, और इससे भी कि दोनों एक जैसे हैं। तीन जवाब बनाम एक ठीक वही है जो संयोग तब पैदा करता है जब दोनों की असली दर एक ही हो — जैसे पाँच में से चार बार चित आ जाना यह साबित नहीं करता कि सिक्का टेढ़ा है।

जो आकार बड़े लगते हैं, उनमें भी अनिश्चितता

प्रति वेरिएंट दो सौ ईमेल गंभीर टेस्ट जैसा लगता है। 4% रिप्लाई दर पर यह 8 जवाब हैं। स्टैंडर्ड एरर है (0.04 × 0.96 ÷ 200) का वर्गमूल, लगभग 1.4 अंक, यानी उन 8 जवाबों के पीछे की असली दर कहीं 1.3% और 6.7% के बीच है। इतने चौड़े फैलाव के भीतर औसत दर्जे के वेरिएंट को अच्छे से अलग नहीं किया जा सकता।

एक काम का शॉर्टकट: अनिश्चितता जवाबों की संख्या से तय होती है, भेजे गए ईमेल की संख्या से नहीं। प्रति वेरिएंट लगभग 25–30 जवाबों से नीचे आप चाय की पत्ती पढ़ रहे हैं; 10 से नीचे बस प्याली देख रहे हैं। 4% रिप्लाई दर पर 30 जवाब का मतलब है प्रति वेरिएंट 750 ईमेल।

पहले क्या टेस्ट करें, क्रम से

चूँकि आप सिर्फ़ बड़े असर ही पकड़ सकते हैं, बड़ी चीज़ें टेस्ट कीजिए।

1. लिस्ट

कोल्ड ईमेल में रिप्लाई दर को उतना कुछ नहीं हिलाता जितना यह कि आप किसे भेज रहे हैं। एक ही संदेश अच्छी तरह मेल खाते सेगमेंट और ढीले-ढाले सेगमेंट को भेजने पर तीन गुना या उससे ज़्यादा फ़र्क दे सकता है — यह असर छोटा भेजने वाला सचमुच माप सकता है। उद्योग, कंपनी के आकार, शहर, या किसी साफ़ संकेत (नई शाखा, भर्ती, हालिया फंडिंग) के आधार पर बाँटिए। अगर अड़चन एक साफ़ और सटीक लक्षित लिस्ट है, तो यह कॉपीराइटिंग से पहले डेटा जुटाने की समस्या है, और किसी खास निच के लिए वह जुटाव छोटा करना ही JustLeadIt जैसे टूल का मकसद है।

2. ऑफर

शब्द नहीं — खुद ऑफर। मुफ़्त ऑडिट, बेंचमार्क रिपोर्ट, 15 मिनट का विश्लेषण और पेड पायलट अलग-अलग प्रस्ताव हैं, और उनकी रिप्लाई दरें काफ़ी दूर-दूर बैठती हैं। दूसरा सबसे ताकतवर लीवर और दूसरा सबसे मापने योग्य।

3. एंगल या शुरुआती वजह

आप इसी कारोबार को क्यों लिख रहे हैं? किसी दिखाई देने वाली बात पर टिका संदेश ("आपका बुकिंग पेज मोबाइल पर नहीं खुलता") क्षमताओं की सामान्य पिच से बिलकुल अलग लीग में खेलता है। एंगल का बदलाव इतना बड़ा होता है कि पकड़ में आ जाए।

4. माँग (CTA)

रुचि टटोलना ("देखना ठीक रहेगा?"), कैलेंडर लिंक, और कोई तय समय प्रस्तावित करना — तीनों से जवाब देने का व्यवहार सचमुच अलग होता है। टेस्ट करने लायक है, पर असर लिस्ट या ऑफर से छोटा रहेगा — अक्सर ठीक उसी दायरे में जिसके लिए आपके पास पर्याप्त वॉल्यूम नहीं।

5. सब्जेक्ट लाइन और छोटे शब्द

सबसे आख़िर में, और कम वॉल्यूम पर सच कहें तो वैकल्पिक। जवाबों पर सब्जेक्ट लाइन का असर आमतौर पर एक-दो अंक होता है, जिसके लिए ऊपर के गणित के हिसाब से प्रति वेरिएंट हज़ारों ईमेल चाहिए। सीधा-सादा सब्जेक्ट लिखिए जो मार्केटिंग जैसा न लगे, और आगे बढ़िए।

ऐसा टेस्ट कैसे चलाएँ जो कचरा न हो

एक बार में एक ही वेरिएबल

अगर आप सब्जेक्ट, पहली पंक्ति और CTA एक साथ बदल दें और जवाब बढ़ जाएँ, तो आपने बस इतना सीखा कि यह पैकेज उस पैकेज से बेहतर है — यह नहीं कि कौन-सा बदलाव काम आया, और अगली कैंपेन में ले जाने लायक कुछ नहीं। कम वॉल्यूम पर यह कभी-कभी स्वीकार्य सौदा है: दो पूरे अलग ईमेल का "चैंपियन बनाम चैलेंजर" टेस्ट जायज़ डिज़ाइन है। बस ईमानदारी से मानिए कि वह क्या बताता है और क्या नहीं।

एक ही लिस्ट और एक ही विंडो के भीतर रैंडमाइज़ करें

क्लासिक बर्बाद टेस्ट: वर्ज़न A मंगलवार सुबह, वर्ज़न B गुरुवार दोपहर बाद। अब आप दिन, समय और टेक्स्ट एक साथ टेस्ट कर रहे हैं और उन्हें अलग नहीं कर सकते। यही बात तब भी लागू है जब A आपके सबसे अच्छे सेगमेंट को और B बचे-खुचे लोगों को जाए। हर संपर्क को एक ही लिस्ट और एक ही भेजने की विंडो के भीतर रैंडम तरीके से A या B दीजिए — टूल न हो तो लिस्ट में एक-एक करके बदलते जाइए। यह सबसे सस्ता गुणवत्ता सुधार है और सबसे ज़्यादा छोड़ा जाने वाला।

डिलीवरेबिलिटी के खिसकने पर नज़र रखें

डिलीवरेबिलिटी स्थिर नहीं होती। वॉर्म-अप पर चल रहा डोमेन तीसरे हफ़्ते पहले हफ़्ते से बेहतर इनबॉक्स में पहुँचता है, और प्रोवाइडर कैंपेन के बीच में आपको रोकना शुरू कर सकता है। अगर A तब गया जब डोमेन स्वस्थ था और B स्पैम शिकायतों के उछाल के बाद, तो नतीजे में टेक्स्ट का कोई हाथ नहीं। इससे भी बुरा: अगर किसी वेरिएंट में कोई शब्द या लिंक पैटर्न फ़िल्टर छेड़ देता है, तो वह वेरिएंट पूरे एक वर्ग के लिए स्पैम में चला जाएगा और कमज़ोर कॉपी जैसा दिखेगा, जबकि उसे पढ़ा ही नहीं गया। नंबरों पर भरोसा करने से पहले हर वेरिएंट के लिए प्लेसमेंट जाँचिए।

बीच में झाँककर टेस्ट मत रोकिए

रोज़ नतीजे देखना और जैसे ही एक वेरिएंट आगे निकले उसे विजेता घोषित कर देना — झूठी जीत बनाने का पक्का तरीका है। टेस्ट की शुरुआत में अनुपात बहुत झूलता है: हर तरफ 20 ईमेल पर एक अतिरिक्त जवाब 100% सुधार जैसा दिखता है। सबसे बड़े अंतर पर रुकना शोर चुनना है। शुरू करने से पहले सैंपल साइज़ तय कीजिए, फिर अंत में एक बार देखिए।

अपनी तुलनाएँ गिनिए

पाँच वेरिएंट एक साथ टेस्ट करना, या एक टेस्ट से पाँच मीट्रिक पढ़ना, यानी खुद को "सार्थक" नतीजा पाने के पाँच मौके देना। सामान्य 95% सीमा पर लगभग बीस में से एक तुलना शुद्ध संयोग से झूठा सकारात्मक नतीजा देती है। पाँच तुलनाओं पर नकली विजेता सामान्य नतीजा है, बदकिस्मती नहीं।

छोटे भेजने वालों को इसकी जगह क्या करना चाहिए

A/B टेस्ट से इनकार करना आँख मूँदकर उड़ना नहीं है। यह उन तरीकों पर जाना है जो कम वॉल्यूम पर काम करते हैं — और उनके नतीजों पर ईमानदार लेबल लगाना है।

क्रमिक बैच से सीखना

100–150 संपर्कों के एक बैच को एक संदेश भेजिए और रिप्लाई दर दर्ज कीजिए। एक बड़ी चीज़ बदलिए — ऑफर, एंगल, सेगमेंट — और अगला बैच चलाइए। एक सादा लॉग रखिए: बैच, बदलाव, जवाब।

इससे सांख्यिकीय सार्थकता नहीं मिलेगी और आपको उसका दावा भी नहीं करना चाहिए। जो मिलेगा वह दस-पंद्रह बैच में बनी तस्वीर है: कुछ तरीके लगातार सौ पर 1–2 जवाब देते हैं और कुछ लगातार 6–8। कई बैच में दोहराया गया दिशात्मक संकेत असली जानकारी है, p-वैल्यू के बिना भी। बस किसी एक बैच के आधार पर कभी कार्रवाई मत कीजिए।

जवाब गिनिए मत, पढ़िए

200 ईमेल पर आपके पास शायद आठ जवाब होंगे — सांख्यिकीय रूप से बेकार, गुणात्मक रूप से सोना। क्या लोगों को समझ नहीं आ रहा कि आप बेचते क्या हैं? "गलत व्यक्ति" कह रहे हैं? "हमारे पास पहले से कोई है"? हर जवाब अलग इलाज की ओर इशारा करता है: स्पष्टता, टारगेटिंग, समय। नकारात्मक जवाब सबसे काम के हैं: "प्रासंगिक नहीं, हम X नहीं करते" बताता है कि आपकी लिस्ट का फ़िल्टर गलत है — और वही आपका सबसे बड़ा लीवर है। छोटे भेजने वाले के लिए यह प्रति ईमेल सबसे ज़्यादा जानकारी देने वाला काम है, और इसमें सैंपल साइज़ की ज़रूरत ही नहीं।

वाक्य नहीं, लिस्ट और ऑफर टेस्ट कीजिए

कम वॉल्यूम पर चूँकि असर का आकार ही सब कुछ है, अपना प्रयोग बजट उन दो वेरिएबल पर लगाइए जिनमें सबसे बड़ा असर संभव है। दूसरा वर्टिकल या दूसरा ऑफर आपको 3% से 9% तक ले जा सकता है। दोबारा लिखा गया दूसरा वाक्य नहीं।

अपने सबूतों पर ईमानदार लेबल लगाइए

यह कहने की आदत डालिए: "दिशा के लिहाज़ से ऑडिट वाला ऑफर चार बैच में बेहतर दिख रहा है — जारी रखने लायक, साबित नहीं।" यह वाक्य आपके भविष्य के लिए नकली निश्चितता से ज़्यादा काम का है। ईमानदार लॉग रखने वाली टीमें छठे महीने उन टीमों से बेहतर फैसले लेती हैं जिन्होंने दर्जन भर कमज़ोर टेस्ट चलाए और हर एक पर यकीन कर लिया।

एक व्यावहारिक फैसला-नियम

कोई भी टेस्ट खड़ा करने से पहले: पिछले कुछ सौ ईमेल से अपनी मौजूदा रिप्लाई दर p का अंदाज़ा लगाइए; तय कीजिए कि सबसे छोटा कौन-सा सुधार d सचमुच आपका व्यवहार बदल देगा; फिर 16 × p × (1 − p) ÷ d² निकालिए। अगर जवाब उससे बड़ा है जितना आप छह हफ़्तों में भेज सकते हैं, तो टेस्ट मत चलाइए — क्रमिक बैच से सीखिए और यही कहिए। छह हफ़्ते मनमाने नहीं हैं: उसके आगे मौसमी असर, लिस्ट का पुराना पड़ना और डिलीवरेबिलिटी का खिसकना तुलना को इतना गंदा कर देते हैं कि सही आकार वाला टेस्ट भी साफ़ नहीं रहता।

छोटा सार

कोल्ड ईमेल की A/B टेस्टिंग असली चीज़ है, पर यह बड़े वॉल्यूम का औज़ार है और इसे इस्तेमाल करने वालों में से ज़्यादातर के पास वह वॉल्यूम नहीं। 4% के आधार पर 6% तक की छलाँग पकड़ने में प्रति वेरिएंट लगभग 1,900 ईमेल लगते हैं; 5% तक के लिए लगभग 6,900; 8% तक के लिए लगभग 560। इसीलिए छोटे भेजने वालों को ऑफर, लिस्ट और एंगल टेस्ट करने चाहिए, और सब्जेक्ट लाइन की ऑप्टिमाइज़ेशन उन पर छोड़ देनी चाहिए जो महीने में दसियों हज़ार ईमेल भेजते हैं।

जवाब मापिए, ओपन नहीं। एक ही लिस्ट और एक ही विंडो के भीतर रैंडमाइज़ कीजिए। शुरू करने से पहले सैंपल साइज़ तय कीजिए और एक बार देखिए। और जब गणित कहे कि वैध टेस्ट संभव नहीं — जो ज़्यादातर बार होगा — तब क्रमिक बैच चलाइए, हर जवाब ध्यान से पढ़िए, और अपने सबूत को उसके असली नाम से पुकारिए: दिशात्मक। ईमानदार अनिश्चितता जुड़-जुड़कर अच्छा निर्णय बनती है। नकली निश्चितता जुड़-जुड़कर गलत वाक्य को सुधारने में बीता एक साल बनती है।