Описание кейса
Проведение A/B-теста
Представьте, что вы работаете в компании, которая разрабатывает игры. Ваш
основной хит — бесплатный командный онлайн-шутер. В игре есть внутриигровая
валюта, которую вы можете выигрывать, побеждая в матчах, а можете покупать за
настоящие деньги.
На днях в игре прошёл A/B-тест — некоторые игроки могли приобрести премиумную
броню по скидке. Ваше руководство хочет узнать, как это повлияло на ARPU (средняя
прибыль на игрока), ARPPU (средняя прибыль на платящего игрока) и траты
внутриигровой валюты.
Цель работы
Выяснить, стоит ли проводить акцию в дальнейшем. Если игроки, участвовавшие в
акции, принесли больше денег, чем игроки, у которых акции не было, то стоит
повторять акцию и при этом уже на всех игроках.
Некоторые детали
● Среди игроков есть читеры — игроки, которые с помощью взлома игры
начисляют себе большие объёмы внутриигровой валюты. У вас есть список
известных вам читеров, но есть и ещё не пойманные читеры, чьи результаты
могут повлиять на выводы. Попробуйте найти их.
● Чтобы сравнить результаты тестовой и контрольной групп, вам нужно сравнить
средние по группам, а также построить доверительные интервалы от средних
значений с точностью 95%. Если доверительные интервалы пересекаются, то
это означает, что результаты случайны и акция не принесла результатов.
● Для разных платформ результаты могут быть разными.
Структура работы
Формат работы — текстовый документ с подробным описанием проекта,
расчётами и выводами. Укажите ссылки на используемые материалы, приложите
графики и таблицы.
Описание проекта и введение
Раздел 1. Цель проекта
● Какую задачу необходимо решить?
● Как вы подойдёте к её решению?
Раздел 2. Анализ источников
● Какой вариант работы с данными вы выбрали: БД (SQL) / Python? Опишите,
почему был выбран используемый вариант.
Если будете применять при решении задачи базу данных, рекомендуем
использовать MySQL. Инструкция по установке — в приложении.
● Приведите исходники кодов по загрузке данных.
Раздел 3. Очистка данных
● Опишите, как вы вычистили читеров. Каким способом пользовались, чтобы
убрать данные по тем читерам, которые не были обнаружены на момент теста.
Раздел 4. Использование статистических методов
● Расскажите о процессе построения доверительных интервалов для каждой
метрики.
● Приведите исходники кода.
Раздел 5. Формирование отчёта
В отчёт по задаче должны входить:
● сравнение метрик ARPU (средняя прибыль на игрока), ARPPU (средняя
прибыль на платящего игрока) и траты внутриигровой валюты между
различными группами игроков;
● графики сравнения метрик по дням (Power BI);
● исходники программ (Python или MySQL) для построения всех графиков
и таблиц;
● сводная таблица в Excel с ARPU по группам и платформам.
Критерии оценки
Формальные требования
● Раскрыты все обязательные пункты финальной работы.
● Нет ошибок в расчётах.
● Рассчитаны все необходимые метрики и доверительные интервалы к ним.
Сделаны верные выводы.
● Есть ссылки на результаты анализа и результаты по логически связанным
разделам, которые вы использовали при разработке решений.
Базы данных к работе:
● Money — таблица с платежами.
● Cheaters — таблица с обнаруженными читерами.
● Platforms — таблица с игровыми платформами (PC, PS4, Xbox).
● Cash — таблица с тратами внутриигровой валюты.
● ABgroup — таблица с распределением игроков по группам теста.
https://disk.yandex.ru/d/uuZeIi3L_ttN_A
