От гипотезы до решения: как проверять идеи на данных и не обманываться цифрами
За 25 уроков вы пройдёте весь путь одного теста: сформулируете гипотезу, посчитаете, сколько людей нужно, проверите выгрузку, прочитаете результат и решите, внедрять ли изменение. Считают калькуляторы и симуляторы прямо в уроке. Рядом — первый шаг теста: соберите карточку с гипотезой и метриками.
1 490 ₽ за весь курс, один раз и навсегда. Первый урок открыт бесплатно — нужна только регистрация.
Что меняет магазин
Что хотим улучшить
Гипотеза. Если сделать кнопку «Купить» заметнее, то доля заказов вырастет, потому что заметную кнопку проще найти, и больше посетителей доходит до покупки.
Сколько людей нужно, как поделить их на группы и как прочитать результат — дальше, в курсе.
У каждого — модуль, где он разобран, и задачи, где вы проверяете себя.
Сравнение «до и после» обманывает: вместе с кнопкой меняются день недели, реклама и погода. Вы разберёте, зачем нужна контрольная группа, как делят людей случайно и как проверить, что группы получились похожими.
Статистика без формул на доске: вы сами разыгрываете сотни тестов без всякого эффекта и видите, как часто «находится» разница, которой нет. Потом по шагам считаете настоящий результат и учитесь читать цифры.
Минимальный эффект, который стоит замечать, размер выборки и срок — с калькулятором. Отдельно — подглядывание: почему остановка «как только стало значимо» даёт ложные победы.
Перекос групп (SRM), много метрик, сегменты, найденные задним числом, спорный итог, когда одна метрика выросла, а другая ухудшилась. В конце вы сами разбираете два незнакомых теста и приходите к решению.
От идеи до решения: каждый шаг в курсе — отдельный модуль, а весь путь целиком — итоговый разбор.
Записать, что вы меняете и чего ждёте, выбрать основную метрику, вспомогательные и защитные.
Определить минимальный интересный эффект, посчитать число людей в группе и срок, проверить систему A/A-тестом.
Найти дубли, людей в двух группах, перекос деления и другие поломки раньше, чем появится вывод.
Прочитать p-value и интервал, оценить эффект в деньгах и принять решение, которое можно объяснить коллегам.
На уровне «понимаю, как устроен A/B-тест, и могу проверить результат на типичные ошибки». Это основа, а не профессия: настройка тестов в конкретном сервисе, продвинутые методы анализа и работа с большими данными в курс не входят. Вакансию он не гарантирует, и обещать её мы не станем.
В конце модуля вы читаете готовый отчёт вымышленного магазина и решаете, что из него следует. Каждый следующий разбор сложнее предыдущего: от паспорта выгрузки до целого теста — от гипотезы до отчёта.
В седьмом модуле подсказок по этапам нет: два новых теста лежат на «рабочем столе», и вы сами решаете, что открыть и проверить. Верное решение без проверок не засчитывается: важно не угадать, а дойти.
Разбираете паспорт сырой выгрузки теста: дубли, люди в двух группах, чужие метки и даты вне окна. Решаете, можно ли выгрузке доверять и что выяснить до анализа.
Запускаете готовую симуляцию тысячи тестов без эффекта и тысячи с эффектом, читаете, как часто тест срабатывает, и объясняете, что это значит для решений.
Читаете готовый отчёт по тесту кнопки — метрики, p-value и интервалы — и решаете, что можно сказать директору, а что нельзя.
Разбираете план нового теста — размер выборки, длительность, проверку A/A — и находите, где он не сходится.
Читаете отчёт проверки теста на ловушки — перекос групп, подглядывание, число сравнений, слабые сегменты — и решаете, какие из найденных проблем ломают вывод.
Проводите тест баннера «Бесплатная доставка» в шесть этапов: гипотеза, метрики, план с калькулятором, проверка выгрузки, результат и решение; в конце собираете отчёт на одну страницу и можете его скопировать.
Два новых теста магазина на рабочем столе: паспорт, выгрузка, размеры групп, баланс, метрики, сегменты. Вы решаете, что проверить, и сами приходите к выводу: внедрять, продлевать или останавливать тест.
Одна мысль за раз: объяснили на таблице, дали посчитать самому, проверили понимание.
В группе A заказали 327 человек из 7 021, в группе B — 381 из 6 979. Это случайность или эффект?
Магазин «Лавка Барсука» и его кнопка проходят через уроки: вы видите один и тот же тест с разных сторон.
Калькуляторы и симуляторы работают в уроке: вводите числа, разыгрываете тесты, смотрите, что меняется.
В шапке урока кнопка «Словарь»: 46 терминов простыми словами, у каждого — ссылка на урок, где он объяснён.
Выберите, что открыть и проверить, и решите: внедрять, продлевать тест или остановить.
Паспорт и планоткрытоРазмеры группоткрытоОсновная метрикане открытоЗадачи не про вычисления: выбрать верный вывод, найти изъян в схеме теста, объяснить расхождение метрик.
Красивое p-value при слишком маленьком тесте, перекос групп, «победа» в одном сегменте. Вы учитесь не попадаться.
Подсказка наводит на мысль, разбор открывается после решения и объясняет, почему другие варианты не подходят.
Цифры в уроках проверены отдельной программой: таблицы, p-value и интервалы пересчитаны независимо от кода курса.
Сначала идея теста и случайное деление. Потом статистика без страха: что такое p-value и интервал. Дальше — расчёт результата, план теста, ловушки и решение. Раскройте модуль — под каждым уроком написано, что вы в нём делаете.
Разбор: Паспорт эксперимента. Разбираете паспорт сырой выгрузки теста: дубли, люди в двух группах, чужие метки и даты вне окна. Решаете, можно ли выгрузке доверять и что выяснить до анализа.
В итоге: читаете выгрузку теста и понимаете, что в ней лежит и можно ли ей верить.
Разбор: Случайность в цифрах. Запускаете готовую симуляцию тысячи тестов без эффекта и тысячи с эффектом, читаете, как часто тест срабатывает, и объясняете, что это значит для решений.
В итоге: отличаете настоящий эффект от случайного колебания и знаете, что значит «статистически значимо».
Разбор: Отчёт по тесту кнопки. Читаете готовый отчёт по тесту кнопки — метрики, p-value и интервалы — и решаете, что можно сказать директору, а что нельзя.
В итоге: читаете результат теста, проверяете его на здравый смысл и объясняете, что значат цифры.
Разбор: План теста. Разбираете план нового теста — размер выборки, длительность, проверку A/A — и находите, где он не сходится.
В итоге: планируете тест заранее: сколько людей, сколько дней и как проверить, что система честна.
Разбор: Проверка теста на ловушки. Читаете отчёт проверки теста на ловушки — перекос групп, подглядывание, число сравнений, слабые сегменты — и решаете, какие из найденных проблем ломают вывод.
В итоге: замечаете, где результат теста мог получиться сам собой, и не принимаете случайность за открытие.
Разбор: Проведите тест сами. Проводите тест баннера «Бесплатная доставка» в шесть этапов: гипотеза, метрики, план с калькулятором, проверка выгрузки, результат и решение; в конце собираете отчёт на одну страницу и можете его скопировать.
В итоге: проходите весь путь от гипотезы до решения сами и умеете объяснить его коллегам.
Разбор: Две задачи. Два новых теста магазина на рабочем столе: паспорт, выгрузка, размеры групп, баланс, метрики, сегменты. Вы решаете, что проверить, и сами приходите к выводу: внедрять, продлевать или останавливать тест.
В итоге: самостоятельно разбираете незнакомый тест и принимаете решение, которое можно защитить.
Новая кнопка, цена, порядок экранов, письмо — и нужно понять, помогло ли это. Курс объясняет, как поставить проверку так, чтобы ей можно было верить, и как не принять случайность за результат.
Команда принесла «p = 0,04, эффект +7%» — что из этого следует? Вы научитесь задавать вопросы, от которых зависит вывод: сколько людей, что с делением групп, сколько метрик смотрели, не подглядывали ли.
A/B-тесты — частая тема в аналитике и продуктовой работе. Курс даёт основу: логику теста и понимание цифр, без которых инструменты не помогут. Гарантий работы он не даёт — только знания.
Шесть вещей, о которых честнее сказать до покупки.
Нет. Курс начинается с вопроса «зачем вообще нужен тест» и вводит каждое понятие там, где оно впервые нужно: случайность, p-value, интервал, мощность. Формулы объясняются по шагам на цифрах, а в шапке каждого урока есть словарь.
Нет. В курсе нет кода: данные показаны таблицами, а считают калькуляторы и симуляторы прямо на странице урока. Ничего не нужно устанавливать.
Нет, магазин «Лавка Барсука» и все его эксперименты выдуманы. Данные устроены как настоящие: сезонность, поломки выгрузки, перекос групп, случайные «победы» — их заложено нарочно, чтобы вы научились находить такие места. Реальные персональные данные в курсе не используются.
Около 7 часов суммарно: в среднем четверть часа на урок, итоговые уроки дольше. Если заниматься по полчаса в будний день, выйдет около месяца. Торопить вас никто не будет.
Здесь ровно та статистика, которая нужна, чтобы провести A/B-тест и прочитать его результат, и вся она привязана к одному вопросу: «внедрять изменение или нет». Всё остальное — планирование, ловушки, решение — тоже про тест, а не про статистику вообще.
Вы сможете спланировать простой A/B-тест, проверить его выгрузку и результат на типичные ошибки и объяснить решение. Следующие шаги — настройка тестов в вашей платформе, продвинутые методы, работа с данными (SQL, Python). Они в курс не входят, вакансию он не гарантирует.
У задач есть подсказки, а после решения открывается разбор, где сказано, почему верный вариант верный, а остальные нет. Застрять намертво не получится — но решение, найденное самим, запоминается лучше.
Да: читать уроки, считать в калькуляторах и разыгрывать тесты можно и на телефоне. Длинные таблицы прокручиваются, но итоговые уроки и разборы случаев удобнее проходить на компьютере.
Откройте первый урок: через четверть часа вы увидите, почему сравнение «до и после» обманывает, и поймёте, чем отличается A/B-тест. Дальше — ещё 24 урока и 7 разборов за 1 490 ₽.