Все ли тесты одинаково полезны?
Нередко вижу, что А/Б-тесты писем проводятся просто ради тестов: есть такая функция, так почему бы её не использовать? Тем более что и сами сервисы рассылки к этому располагают: придумал вторую тему, нажал пару кнопочек — и всё настроено.
Вот только такие тесты могут оказаться не просто бесполезны, а даже вредны. *Просто представьте: вы настроили тестирование, одна из тем победила за явным преимуществом, и основная часть рассылки ушла именно с этой темой.
А потом вы обнаруживаете, что "выигравший" по проценту открытий тестовый сегмент принёс вам 0 продаж,* а с "проигравшего" продажи были. Вот только сервис рассылки этого попросту не знал, так как ориентируется часто на внутренние показатели. Почему такое может произойти? Например, тема-победитель привлекла внимание тех, кому не интересен оказался продукт. А вот вторая тема, напротив, зацепила именно тех, кто готов покупать. Да, таких людей меньше (что логично), но именно им и была предназначена рассылка.
Что же делать? Ориентироваться на те показатели, которые вам действительно важны: продажи, загрузки, заявки и т.д.
И не проводить А/Б-тесты просто потому, что такой функционал есть в сервисах рассылки: если уж сравниваете письма по проценту открытий, то именно открытия и должны быть вашей основной целью в этой рассылке.
