Как пользоваться калькулятором

Калькулятор работает в двух режимах.

Подвести итоги - анализ завершённого или текущего A/B теста. Укажите количество конверсий и размер выборки для каждого варианта. Калькулятор покажет, есть ли статистически значимая разница между ними. Вы можете сравнивать от 2 до 10 вариантов одновременно.

Спланировать тест - расчёт необходимого размера выборки до запуска теста. Укажите текущую конверсию, минимальный эффект, который хотите обнаружить, и желаемую мощность теста. Калькулятор покажет, сколько трафика понадобится на каждый вариант.

Переключатель «Простой / Подробный» позволяет выбрать уровень детализации. В простом режиме вы видите только вердикт и рекомендацию. В подробном - p-value, мощность теста, доверительные интервалы и график сравнения вариантов.

Как читать результаты

Калькулятор выдаёт цветовой вердикт по итогам анализа:

Зелёный - результат достоверен. Разница между вариантами статистически значима. Можно внедрять лучший вариант.

Жёлтый - недостаточно данных. Разница может существовать, но выборка слишком мала для уверенного вывода. Продолжайте тест или воспользуйтесь калькулятором размера выборки, чтобы узнать сколько трафика ещё нужно.

Красный - различий нет. Данных достаточно, но варианты показывают одинаковую эффективность.

В подробном режиме также доступны:

• p-value - вероятность получить такую разницу случайно. Чем ниже, тем надёжнее результат
• Мощность теста - вероятность обнаружить реальную разницу. Рекомендуемое значение - от 80%
• Uplift - относительное изменение конверсии тестового варианта по сравнению с контрольным
• Доверительный интервал - диапазон, в котором находится реальная конверсия варианта

Калькулятор размера выборки для A/B теста

Частая ошибка - остановить тест слишком рано или слишком поздно. Калькулятор размера выборки решает эту проблему: он показывает, сколько посетителей нужно собрать, чтобы результат был надёжным.

Для расчёта укажите базовую конверсию, минимальный эффект (MDE) и мощность теста. Чем меньший эффект вы хотите обнаружить, тем больше трафика потребуется.