Анатолий Карповm, СЕО Karpov.Courses
Kolesa Conf 2022, 8 октября
Описание доклада:
Уметь отвечать на вопрос «Как долго должен идти А/Б-тест?» - важнейший навык аналитика. Если вы запускаете А/Б-тест на глазок, будьте готовы, что вас ждёт множество проблем: проблема подглядывания, недостаточная мощность теста, ложные срабатывания. Мы подробно разберём, как правильно оценивать размер выборки и время проведения теста, и с какими неочевидными трудностями вы можете столкнуться на этом пути.
В докладе обсудим:
- Как правильно подглядывать за А/Б-тестами.
- Что сильнее: t-test или непараметрика?
- Почему симуляция данных позволяет глубже понять свой продукт.
- Как правильно оценить размер выборки для эксперимента в случае нетривиального дизайна исследования.