Калькулятор A/B тестов
Калькулятор A/B-тестов для маркетологов: рассчитывает размер выборки, длительность теста и MDE до запуска, а после — анализирует результаты по конверсиям (Z-тест и байесовский подход) и по непрерывным метрикам (t-тест Уэлча).
Как пользоваться
- Откройте нужную вкладку: «Размер выборки», «Время теста», «MDE», «Анализ (конверсии)» или «Анализ (метрики)».
- Для планирования задайте базовую конверсию, ожидаемый прирост (относительный или абсолютный), достоверность, мощность и число вариантов.
- Для расчёта длительности дополнительно укажите дневной трафик; для MDE — размер выборки на вариант.
- Для анализа введите по вариантам конверсии и выборку либо среднее, стандартное отклонение и выборку (до 4 вариантов).
- Результат пересчитывается автоматически; скопируйте сводку или выгрузите анализ в CSV.
Частые вопросы
Чем «Анализ (конверсии)» отличается от «Анализ (метрики)»?
«Конверсии» — для бинарных метрик (CTR, CR, доля подписок): считается Z-тест и байесовская вероятность, что вариант лучше контроля. «Метрики» — для непрерывных показателей (средний чек, время на сайте): применяется t-тест Уэлча по среднему, стандартному отклонению и выборке.
Что показывает байесовский подход и зачем он нужен?
Он даёт вероятность того, что вариант лучше контроля, и доверительный интервал прироста — даже когда классическая статистическая значимость (p-value) ещё не достигнута. Это помогает принимать решение, не дожидаясь формального порога.
Что такое MDE и когда его считать?
MDE (минимальный обнаруживаемый эффект) — наименьший прирост конверсии, который тест способен выявить при заданной выборке, достоверности и мощности. Считайте его, когда объём трафика фиксирован, чтобы понять, какой эффект вообще реально зафиксировать.
Влияют ли односторонний и двусторонний тест на результат?
Да. Двусторонний тест проверяет отличие в любую сторону и требует большей выборки; односторонний — только улучшение, выборка меньше. По умолчанию выбран двусторонний как более консервативный и корректный для большинства задач.