5 Kolay Adımda A/B Testi Nasıl Yapılır: 4 Örnek

Net bir hipotezle başlayın: Bir seferde bir mesajlama değişikliğini test edin ve dönüşüm oranınıza etkisini ölçün. Karşılaştırmak için tek bir öğe seçmelisiniz–örneğin yeni bir başlık, farklı bir çağrı-yapma-düğmesi veya revize edilmiş bir değer teklifi–ve ardından verilere göre ayarlayın. Bu yaklaşım, hizmet ettiğiniz herhangi bir niş için uygulanabilir testler oluşturmanıza yardımcı olur ve bir pazarlamacıya niyetle konuşmasına yardımcı olur.

1. Adımda, temeli tanımlayın ve karşılaştırmak için bir değişken seçin. Çağrı-yapma-düğmesi üzerindeki tıklama oranları ve sayfada etkileşim süresi gibi metrikleri izleyin. Topladığınız veriler somut olmalı: örneklem boyutu, güven seviyesi ve süre. Trends ve nişler arasında nüanslar var, bu yüzden yaklaşımınızı kitlenize ve gerçekten önemsedikleri şeylere göre uyarlayın, erken sinyallere duyarlı olun.

2. Adım için, seçilen değişken için üç varyant tasarlayın ve tek farkın test ettiğiniz öğe olduğundan emin olun. Bu, temiz sonuçlar yaratır; birden fazla öğe değiştirirseniz, hangisinin iğneyi hareket ettirdiğini bilemezsiniz. Dört Örnek için, test etmeyi düşünün: 1) başlık mesajlaması, 2) kahraman görüntüsü, 3) çağrı-yapma-düğmesi metni, 4) fiyatlandırma vurgusu. Testi çalıştırdıktan sonra, kazananı analiz edin ve ikinci turu başlatın.

3. Adımda, sabit bir kitle boyutu ve istikrarlı trafik karışımıyla deneyi çalıştırın. Grupları karşılaştırmak için segmentasyon kullanın ve erken sinyaller görünürse örneklem boyutunu ayarlamaya hazır olun. Bir kazanan onayladığınızda, onu site akışınıza uygulayın ve çağrı-yapma-düğmesi bağlantısını ve mesajlamayı güncelleyin ki takım arkadaşlarınız kampanyalar genelinde faydayı görebilsin.

4. Adımda, net bir karar kuralıyla sonuçları değerlendirin: kazanma oranı hedef güven seviyesine ulaşırsa, değişikliği benimseyin; aksi takdirde yeni bir varyant kurun. Mesajlama, faydalar ve çağrı-yapma-düğmesinin nasıl performans gösterdiği hakkında içgörüleri belgeleyin ki gelecekteki testlerde yeniden kullanabilesiniz. 5. Adımda, yeni bir hipotezle başladınız, planı ayarlayın ve nişinizdeki trendler hakkında öğrenmeye devam edin; bu döngü AB testini meşgul bir pazarlamacı için pratik hale getirir ve kampanyalarınız için somut kazanımlar üretmeye yardımcı olur, uygulaması size ait.

E-posta Kampanyaları İçin Pratik A/B Test Planı

Planı, ideal açılışı belirlemek için iki varyantlı konu satırı deneyiyle başlatın. Her iki varyantı da aynı abone segmenti, aynı gönderme zamanı ve 48 saatlik bir pencereyle çalıştırın ki güvenilir veri elde edin. Bu öne çıkan yaklaşım, size hızlı, test edilmiş içgörüler verir ve kampanya genelinde iyileştirmeleri sürdürür.

Test planını, karıştırıcı sonuçlardan kaçınmak için deney başına bir değişken etrafında yapılandırın. E-posta için, önce konu satırlarını, sonra ön başlıkları, sonra gövde düzenini test edin. En aktif aboneleriniz arasında hangi formatın en güçlü etkileşimi sağladığını görmek için metin tabanlı bir sürüm ve grafik tabanlı bir sürüm ekleyin. Formatları karşılaştırmanın net bir nedeni var: açılışları, tıklamaları ve dönüşümleri ölçerek neyi yeniden kullanacağınızı tanımlayın.

İstatistiksel anlamlılığa ulaşmak için varyant başına gereken örneği hesaplayın. Tipik kampanyalarda %3–5 civarında bir temel CTR için, 2 puanlık bir artış anlamlıdır. %80 güç ve %95 güven ile, varyant başına en az 1.000–2.000 geçerli alıcı hedefleyin; daha büyük etkiler için, varyant başına 5.000+ gürültü riskini azaltır. Küçük bir listeniz varsa, daha uzun çalıştırın (zaman penceresi 3–7 gün) veya kohortları birleştirerek hedef örneğe ulaşın. Sonuçlar belirsizse, daha fazla veri toplamak için test süresini uzatmak tamamdır.

Önemli metrikleri izleyin: açılış oranı, tıklama oranı, dönüşüm, abonelikten ayrılma oranı ve e-posta başına gelir. Bu sinyalleri daha derin içgörüler elde etmek ve bir sonraki testi uyarlamak için kullanın; bulguları paydaşlarla paylaşın ve test yapısını basit tutun ki daha fazla abone verisi elde ettikçe devam eden deneyleri sağlayabilesiniz.

Yeniden kullanılabilir bir test ritmi ve sonuçları kaydetmek için tek bir sayfa oluşturun. Araçlarınızı varyantları zaman damgalamak, grafik veya video unsurları eklemek ve sonuçları paylaşılan bir sayfada saklamak için kullanın. İdeal plan, sonuçları okunaklı tutar ve kampanyalar genelinde kazanımları zaman içinde karşılaştırmanıza izin verir. Güçlü bir artış onayladığınızda, kazanan varyantı daha uzun e-posta dizilerine uygulayın ve benzer listelere sonuçları ölçekleyin.

Adım	Odak	Ana Metrikler	Zaman Çerçevesi	Notlar
1	Hipotez & Kurulum	Birincil: açılış oranı; İkincil: CTR, dönüşümler	48 saat	Bir seferde bir değişken test edin; sabit gönderme zamanı ve segment kullanın
2	Format Varyantları	Açılış oranı, CTR, dönüşümler, gelir	3–7 gün	Metin tabanlı vs grafik tabanlı karşılaştırın; isteğe bağlı video teaser ekleyin
3	Örneklem Boyutu	Anlamlılık, güç, varyant başına minimum	Göndermeden önce	Temel verilere göre hesaplayın; liste boyutu için ayarlayın
4	Çalıştır & Topla	Anlamlılık, artış büyüklüğü, güven	48–72 saat	Varyantlar genelinde eşit maruziyeti sağlayın
5	Analiz & Paylaşım	İçgörüler, önerilen eylemler	Pencereden sonra 1–2 gün içinde	Takımla paylaşın; kazanan varyantı geniş uygulayın

1. Adım – Hedef ve Metrikleri Tanımlayın

Ölçebileceğiniz net, eylem odaklı bir ifade olarak tek bir birincil hedef tanımlayın. Örneğin: "Yeni ziyaretçilerden siparişleri 30 gün içinde %12 artırın." Bu ifade, test tasarımınızı demirleyen, temel karşı karşıya getireceğiniz rakamı ve kararları yönlendirmek için kazanacağınız bilgiyi belirler.

Hedefi doğrudan yansıtan bir birincil metrik seçin, ardından ulaşmanız gereken hedef artışla kısa bir zaman çerçevesi belirleyin. Sipariş hedefi için, birincil metrik siparişler veya sipariş değeri olabilir, %12 gibi bir artış hedefiyle. Temiz bir temel rakam kullanın ve verileri manuel iş olmadan karşılaştırmak için otomasyonla toplayın. Eğer başlamadıysanız, son 7 günü geçici temel olarak çekin ve bilgiyi takım için organize tutmak için ayrı bir formda belgeleyin. Test ederken, stiller ve gönderenler arasında trafiği rastgeleleştirin ki önyargısız sonuçları karşılaştırabilesiniz. Kapsamı boşuna metriklerden uzak tutun.

Ana hedeften dikkat dağıtmayan bağlam ekleyen ikincil metrikleri tanımlayın. Yaygın seçimler: sipariş başına gelir, dönüşüm oranı, ortalama sipariş değeri ve üyeler için yaşam döngüsü göstergeleri. Sonuçların neden oluştuğunu anlamak için bunları izleyin, sadece olup olmadığını değil. Yeni vs dönen üyeler gibi kitlelere göre segmentleyin ve gerektiğinde bilgiye derinlemesine inebilmek için veriyi özel bir formda saklayın.

Net karar kuralları belirleyin: birincil metrik test penceresi içinde istatistiksel anlamlılıkla hedef artışı gösterdiğinde kazanan ilan edin. Sonuçlar belirsizse, testi uzatın, varyantları ayarlayın veya taze rastgele bölünmeyle takip testi çalıştırın. Kazanılmış bilgiyi ve sonraki adımları belgeleyin, herhangi bir otomasyon ihtiyacını dahil ederek ve bu kararın siparişleri ve üye deneyimlerini nasıl etkileyeceğini özetleyin.

Örnek 1 – Konu Satırı A/B Testi

Bir kampanya için iki konu satırı arasında kitlenizi 50/50 bölün. Gövdeyi, gönderen adını ve gönderme zamanını aynı tutun ki performanstaki farkı konu satırına izole edin.

1. Hedef ve test tasarımı: İki konu satırı, A ve B ile bir A/B test tipi seçin. Her şeyi sabit tutun ve örneğin açılış oranına dayalı bir kazanma koşulu belirleyin, örneğin B'nin p<0.05 ile A'yı en az 2 yüzde puanla geride bırakması gerekir.
2. Boyut ve örnek dağılımı: 10.000 okuyucu listesi için, her varyanta 5.000 tahsis edin. Boyutunuz daha büyükse, gücü korumak için varyant başına 25.000'e ölçekleyin. Test ettiğiniz her şeyi yakalamak için varyant adlarını tek bir günlükte belgeleyin.
3. Uygulama detayları: Aynı HTML şablonunu, aynı from-adresini ve aynı gönderenleri kullanın. Gecikme ve önyargıdan kaçınmak için her iki gönderiyi de aynı pencere içinde zamanlayın. Konu satırlarını mobil üzerinde okunaklı ve kısa tutun; uzun satırlar cihazlar genelinde okunabilirliği azaltır.
4. Ölçüm ve analiz: Cihazlar genelinde açılışları, tıklamaları ve dönüşümleri izleyin. A ve B arasındaki açılış oranındaki farkı hesaplayın ve istatistiksel anlamlılığı kontrol edin. Kampanyalar genelinde test ediyorsanız, her liste için farkları yakalayın ve gelecekteki kampanyalarda yeniden kullanmak için veriyi merkezi bir araçta saklayın.
5. Karar ve optimizasyon: Eşiğe dayalı kazanan ilan edin. Bulunan marjı, örneklem boyutunu ve kazanma adını raporunuza dahil edin. Etkileşimi iyileştirmek ve gelecekteki gönderileri optimize etmek için kazanan konu satırını kampanyalar genelinde uygulayın. Her şeyi belgeleyin, kullanılan HTML'yi, gönderenleri ve gözlemlenen herhangi bir gecikmeyi dahil ederek ki gelecekteki gönderilerde başarıyı yeniden üretebilesiniz. Ayrıca segmentler genelinde olasılıkları not edin ki ek testleri yönlendirin.

Örnek 2 – Önizleme Metni vs Gövde Metni Testi

Tek bir gövde metni temeline karşı iki önizleme metni varyantı çalıştırın, her varyanta eşit trafik tahsis edin ve istatistiksel anlamlılığa (p < 0.05) ulaştıktan sonra sadece kazanan belirleyin. 200k altındaki listeler için, varyant başına en az 10.000 alıcı örneği kullanın; daha büyük listeler için, 15.000–20.000 varyant başına öğrenmeyi hızlandırırken istatistiksel gücü korur. Bazen önizleme metnindeki ince bir fark, gövde metninden daha fazla açılış oranını sürükler, bu yüzden sonucu bir sinyal olarak ele alın, son karar olarak değil.

Gövde metnini sabit tutun ve sadece ön başlık ve konu satırındaki önizleme metnini değiştirin; 30–90 karakter içinde 2–3 satır önizleme metni test edin, fayda odağı, merak ve aciliyette farklı tasarımlar kullanarak. Her varyant, okuyucular için değeri sezdirsin, inandırıcı olsun ve teklif ile uyumlu olsun. Bu tasarım, önizleme metninin etkileşimi nasıl etkilediğini ve hangi satırların en önemli olduğunu doğrudan görmenize yardımcı olur.

Metrikler ve veri toplama: açılış oranı, tıklama oranı, tıklama-açılış oranı ve e-posta başına geliri izleyin. Göndermeden sonra 24–72 saatlik bir örnek penceresi kullanın ve anlamlılık testiyle artışı hesaplayın. Sinyali gürültüden ayırmak için bilimsel bir zihniyetle sonuçları çerçeveleyin; net bir hipotez ekleyin ve zamanlar, cihazlar ve segmentler genelinde iyileştirilmiş sonuçları ölçün. Bu örnekten kazanılan bilgiyi daha güçlü testler ve gelecekteki kampanyalar için öğrenme oluşturmak için kullanın.

Yorumlama: Bir varyant açılış oranını iyileştirir ama dönüşümler sabit kalırsa, bağlama ve tıklama sonrası deneyime dönün; her ikisi açılış ve gelir artarsa, müşteri yolculuğunun satırları genelinde gerçek bir sinyaliniz var. Her iki durumda da, iyileştirmenin ölçeklenmeye değer olup olmadığını değerlendirin; aksi takdirde, önizleme satırlarını gövde metni değişiklikleriyle birleştiren bir takip testi çalıştırarak genelleme ve daha geniş etkiyi doğrulayın.

Uygulama adımları: 1) tonda farklı iki önizleme metni seçin; 2) gövde metnini ve görselleri sabitleyin; 3) trafiği eşit bölün; 4) küçük listelerde 2–3 gün, büyük listelerde 4–7 gün çalıştırın; 5) istatistiksel anlamlılık kullanarak kazanan ilan edin ve tüm gönderilere uygulayın. Örneği yakalayın ve tasarımlarınızı keskinleştirmek için gelecekteki testler için öğrenmeyi dahil edin.

Ek ipuçları: kazanılan bilgiyi belgeleyin ve gelecekteki testler için pratik yönergeler ekleyin; hangi satır ve tasarımların iyileştirilmiş sonuçlar verdiğini dikkatle izleyin ve onları geniş uygulayın. Testi hafifçe farklı varyasyonlarla tekrarlamak için bilimsel bir lens kullanın ve yaklaşımınızı rafine etmek için veriyi kullanmaya devam edin, öğrenimleri daha geniş e-posta tasarımlarını ve sonuçlarını bilgilendirmek için kullanın.

Örnek 3 – CTA Rengi ve Yerleşim Testi

Öneri: İki renk (turuncu ve mavi) ile iki yerleşimi (katın üstü kahraman ve makale içinde satır içi) birleştiren 4 varyant çalıştırın. Katın üstü turuncuyu temel olarak kullanın ve katın üstü mavisini birincil meydan okuyucu olarak, satır içi varyantları hareketli kıyaslamalar olarak kullanın. Gerçek kullanıcı koşulları altında renklerin ve yerleşimin nasıl performans gösterdiğini görmek için grafikleri, düğmeleri ve etkileşimli unsurları izleyin.

1. Deney tasarımı
   • Hipotez: renk ve yerleşim tıklama oranını (CTR) ve dönüşüm oranını etkiler, renkli CTA'ların katın üstünde tipik promosyon akışlarında en güçlü performansı sağladığı.
   • Varyantlar:
     • Turuncu düğme – katın üstü
     • Mavi düğme – katın üstü
     • Turuncu düğme – makalede satır içi
     • Mavi düğme – makalede satır içi
   • İzlenecek metrikler: CTR, dönüşüm oranı ve ziyaretçi başına gelir. Net bir performans resmi oluşturmak için izlenimleri, tıklamaları ve aşağı akış eylemlerini kaydedin.
   • Örneklem boyutu ve süre: Güvenilir gözlem sayısına ulaşmak için 7–10 gün içinde varyant başına 8.000–12.000 oturum hedefleyin.
2. Uygulama detayları
   • Düğmeler, hızlı tanınma için kısa metin ve isteğe bağlı emoji ile net etiketlenmeli (örneğin, “Teklifi Al ”).
   • Etkileri izole etmek için renk ve yerleşim hariç varyantlar genelinde aynı metni tutun.
   • Farkların renk ve konumdan geldiğinden emin olmak için tutarlı tipografi ve dolgu kullanın.
   • Gizlilik kontrollerine saygı gösterin; tüm varyantlar için uyumlu veri toplama ve raporlama sağlayın.
3. Veri toplama ve analiz
   • Varyant başına grafik verilerini toplayın, renk, yerleşim ve tıklama zamanlamasını dahil ederek.
   • Temele karşı CTR ve dönüşümlerde mutlak ve göreceli artışları hesaplayın.
   • %95 güven seviyesinde istatistiksel anlamlılığı kontrol edin; bir varyant anlamlılığı kaçırırsa, sonuçları belirsiz olarak ele alın ve testi uzatın.
4. Karar kuralları ve takip
   • Sayfadaki diğer gizlilik veya etkileşimlerde herhangi bir olumsuz etkiyi izlerken, birincil metrikte (CTR veya dönüşümler) en yüksek istatistiksel anlamlı artışı olan varyantı seçin.
   • Satır içi yerleşimler katın üstü yerleşimleri altında performans gösteriyorsa, benzer bağlamlarda promosyon CTA'ları için katın üstü mülkü önceliklendirin.
   • Gelecekteki referans ve takım paylaşımı için öğrenimleri kağıt günlükte veya iç wiki'de belgeleyin.
5. Pratik ipuçları
   • Sayfa arka planı ve grafik sırasına karşı iyi performans gösteren renkli, yüksek kontrast tonlar kullanın.
   • Kullanıcı deneyimini yavaşlatmamak ve zarar vermemek için etkileşimli unsurları hafif tutun.
   • Genel değişiklikler planlıyorsanız kombinasyonları sırayla test edin, ama maskeleme etkilerinden kaçınmak için çok fazla varyasyonu aynı anda çalıştırmayın.
   • Teklifden dikkat dağıtmadan konuşma çekiciliğini artırıp artırmadığını test etmek için CTA metninde emoji düşünün.

Örnek 4 – Gönderme Zamanı ve Segmentasyon Testi

Öneri: Birkaç gün boyunca büyük segmentler genelinde birden fazla yerel zamanda göndererek Gönderme Zamanı ve Segmentasyon Testi çalıştırın. Gönderenin kimliğini tutarlı tutun ve varyantın daha fazla müşteriyi dönüştürmede ne kadar iyi yardımcı olduğunu izleyin, açılış ve tıklama oranlarını ölçün. Bulguları oluşturulan bir sayfada izleyin ve her varyant için bir sürüm etiketi atayın ki güvenle sonuçları karşılaştırabilesiniz. Amaç, etkileşimin eylemi sürüklediği mükemmel pencereyi bulmak.

1. Adım: Hipotezinizi ve davranışı tanımlayın Hangi davranışı etkilemek istediğinize karar verin–açılış oranı, tıklama oranı veya dönüşümler–ve kitlenizi birden fazla segmente bölün (örneğin, etkileşim, satın alma geçmişi veya coğrafya göre). Net bir hipotez oluşturun ve sonuçların kaydedileceği sayfayı not edin, temiz karşılaştırma için göndereni sabit tutun. Bu, hangi zamanlama ve segmentasyonun en iyi sonucu verdiğini sağlayacaktır.

2. Adım: Varyasyonları oluşturun Her segment için, farklı gönderme zamanlarıyla iki veya daha fazla sürüm e-postası oluşturun. İçeriği aynı tutun; sadece gönderme zamanını ve isteğe bağlı olarak açılış oranlarına etkiyi test etmek için emoji kullanan konu satırlarını değiştirin. Her varyantı bir sürüm etiketiyle etiketleyin ve sonuçların ESP'niz tarafından otomatik olarak izlenmesi için kurallar belirleyin. Bu kurulum, birden fazla sonucu net bir şekilde karşılaştırmanıza izin verir.

3. Adım: Çalıştırın ve veri toplayın Belirli bir gün penceresi için başlatın, birden fazla metrik izleyin: açılış oranı, tıklama oranı ve dönüşümler. İyileşmeyi ölçmek için bir plan kullanın ve bulguları oluşturulan bir sayfada kaydedin. Ardından segment ve gönderme zamanına göre sonuçları karşılaştırın ki hangi kombinasyonun en iyi performans gösterdiğini görün. Bir segmentte iyileştirilmiş performans görürseniz, varyantı buna göre ölçekleyin. Güvenilirliği nicelendirmek için güven aralıklarını toplayın.

4. Adım: Analiz edin ve harekete geçin Sonuçları inceleyin, kazanan gönderme zamanını ve segmentasyonu seçin ve proje süresi boyunca büyük kampanyalar için gönderene yayınlayın. Artış küçükse, yeni zamanlar veya farklı segmentlerle yineleyin. İşte hızlı özet: 1–4. Adımlar.

Testin ötesinde, yıllarca kampanyaları yönlendirmek için bulgular ve taktiklerin çalışan bir günlüğünü sürdürün. Yaklaşım herhangi bir sayfaya, gönderene ve kanala ölçeklenir, kitlenize en uygun zamanlamaları öğrenmenize yardımcı olur. testin ötesinde, sürekli iyileştirme için yıllarca kampanyalara bulguları uygulayın.