Как пользоваться калькулятором

В таблице выше укажите:

• Количество конверсий и размер выборки варианта А
• Количество конверсий и размер выборки варианта B
• Достоверность - значение, отражающее степень вашей уверенности в результатах эксперимента

Что такое статистическая значимость?

Этот показатель отвечает за то, какова вероятность того, что разница между контрольной и тестовой группами данных не является случайной или ошибочной.

Оценка статистической значимости помогает проверить надежность результатов. Если она высокая, то можно быть уверенным в корректности выводов теста. Также это подтверждает, что улучшение показателей связано с внесенными изменениями, а не с простым совпадением.

• 90-100% - высокая статистическая значимость, изменения стоит внести в рекламную кампанию или на сайт
• 80-90% – результат сомнителен, вносить изменения следует осторожно или продолжить A/B-тестирование.
• Менее 80% – вносить изменения не рекомендуется, т.к. результаты не имеют достаточной статистической значимости.