Как пользоваться калькулятором
В таблице выше укажите:
- Количество конверсий и размер выборки варианта А
- Количество конверсий и размер выборки варианта B
- Достоверность - значение, отражающее степень вашей уверенности в результатах эксперимента
Что такое статистическая значимость?
Этот показатель отвечает за то, какова вероятность того, что разница между контрольной и тестовой группами данных не является случайной или ошибочной.
Оценка статистической значимости помогает проверить надежность результатов. Если она высокая, то можно быть уверенным в корректности выводов теста. Также это подтверждает, что улучшение показателей связано с внесенными изменениями, а не с простым совпадением.
- 90-100% - высокая статистическая значимость, изменения стоит внести в рекламную кампанию или на сайт
- 80-90% – результат сомнителен, вносить изменения следует осторожно или продолжить A/B-тестирование.
- Менее 80% – вносить изменения не рекомендуется, т.к. результаты не имеют достаточной статистической значимости.