# Конверсии Клики Конверсия Шанс побить Цена спешки

Введение

HTraffic Calc — бесплатный онлайн-калькулятор А/Б тестов. Он предназначен для интернет-маркетологов, хотя его можно применять и в других сферах деятельности. С его помощью можно сравнить несколько вариантов в А/Б тесте и оценить вероятность того, что один лучше другого.

Главное преимущество HTraffic Calc перед аналогами: вычисление вероятности того, что один вариант лучше всех остальных. По сравнению с доверительными интервалами, это вариант требует в десятки раз меньше времени, также он снижает требования к математической подготовке. Вам просто нужно посмотреть на одно число, а не проводить целую исследовательскую работу.

По нашим данным, из всего ПО для интернет-маркетинга, в том числе зарубежного, "шанс побить все" способен вычислить только Google WebSite Optimizer и HTraffic Calc. Остальные программы могут сравнить только 2 варианта (Chance to Beat Baseline/Origin). Более того, все статистические калькуляторы (программы в которые можно ввести свои данные) могут вычислить только доверительные интервалы, но не шансы.

Вычисления происходят без синхронизации с сервером, поэтому происходят практически моментально. Однако, на некоторых очень слабых машинах со старым браузером, что расчет может потребовать около 10 секунд.

Цена спешки

В идеальном случае, нужно проводить тест бесконечно долго и выбрать лучший вариант. Однако, на практике нам нужно рано или поздно остановить тест и выбрать вариант, который имеет больший шансы быть лучшим.

Шанс побить — это вероятность того, что вариант лучше остальных.
Цена спешки — это ожидаемые потери в конверсии при выборе этого варианта сейчас.

Цена спешки корректно считается, если в каждом варианте хотя-бы по 10 конверсий.

Время теста

Если вы ориентируетесь на шанс побить и варианты отличаются на сильно, то тест будет длится очень долго (например, А/А тест может длится бесконечно долго).

Если вы ориентируетесь на цену спешки, то время теста почти не зависит от отличий между вариантами.

  • Необходимое число кликов на вариант в среднем равно 100 * во_сколько_раз_цена_спешки_меньше_конверсии
  • Например, конверсиия 1%, а цена спешки 0.01% (в 100 раз меньше). На каждый вариант нужно по 100*100 = 10000 кликов.
  • Например, конверсиия 1%, а цена спешки 0.02% (в 50 раз меньше). На каждый вариант нужно по 100*50 = 5000 кликов.

Лицензия

Программа предоставляется "как есть", без каких либо гарантий. Копирование исходного кода программы запрещено. Поддержка осуществляется в комментариях.