Ваш A/B тест бреше частіше, ніж здається

95% впевненості в A/B тесті — це не гарантія, а статистика, яку легко зламати одним необережним рухом.

📊

Класична помилка: маркетолог щодня заглядає у звіт і зупиняє тест, щойно бачить p-value нижче 0.05. Здається логічно — навіщо чекати, якщо результат уже «значущий»? Насправді кожен погляд на проміжні дані — це нова спроба перевірки гіпотези. Якщо перевіряти результат щодня протягом двох тижнів, шанс випадково впіймати «значущу» різницю там, де її насправді немає, зростає з 5% до 30-40%.

📈

Друга пастка — множинне тестування. Коли одночасно порівнюють п'ять варіантів кнопки чи заголовка, ймовірність хибного спрацювання множиться на кількість гіпотез. Один «переможець» із п'яти цілком може бути шумом, а не інсайтом.

Правильний підхід простий: заздалегідь порахуйте потрібний розмір вибірки і мінімальну тривалість тесту, зафіксуйте дату завершення — і не заглядайте в результат раніше строку.

🎯

А скільки з ваших «переможних» тестів насправді пройшли перевірку часом після впровадження?

🛎 Приєднуйтесь до ProАналітика 📊:
🌐Канал | 💬 Чат