Теоретические основы
Ключевые метрики: конверсия, средний чек, LTV, ROI и др.
Основы статистики: гипотезы, ошибки I и II рода, статистическая мощность
Параметрические и непараметрические методы
Контроль над множественными сравнениями и поправки (Bonferroni, Холм-Бонферрони)

Планирование эксперимента
Определение гипотезы и бизнес-метрик
Выбор контрольной и тестовой групп
Расчёт размера выборки и длительности теста
Разработка спецификации: А/Б-тест-кейс, критерии успеха, QA

Дизайн интерфейсов и маркетинговых сообщений
Принципы UX-дизайна для тестирования
Генерация и приоритизация вариаций (Eisenhower, ICE, PIE)
A/B-тесты лендингов, форм, CTA-кнопок, потоков рассылок
Мультивариантное тестирование и персонализация

Проведение и мониторинг
Запуск и проверка корректности работы
Мониторинг промежуточных результатов и критерии остановки
Работа с сезонностью, трафиковыми всплесками и внешними факторами
A/B-тесты на мобильных платформах и в приложениях

Анализ результатов
Выбор статистического метода: t-тест, бутстрэп, Байесовские подходы
Пост-хок-анализ и скрытые влияющие факторы
Визуализация данных: карты тепла, воронки, cohort-анализ
Принятие решений на основе результатов и построение планов следующего теста

Кейс-стади и примеры из практики
Реструктуризация лендинга e-commerce площадки
Оптимизация формы подписки в SaaS-продукте
Тестирование новых каналов рассылки
Успешные и неудачные эксперименты: разбор причин