Случайные эксперименты: как сделать воздействие эффективным?
В пермском кампусе НИУ ВШЭ состоялся второй научный семинар цикла «Цифровые трансформации». Доцент кафедры информационных технологий в бизнесе Алексей Бузмаков представил проект, посвященный методам машинного обучения для интерпретации результатов случайных экспериментов. Исследование проводится в рамках гранта РФФИ «Стабильность».
Случайные эксперименты помогают в оценке эффективности тех или иных воздействий, например проведения маркетинговой кампании, выпуска нового лекарства и т.д. Алексей Бузмаков отметил, что методы машинного обучения позволяют оценить результаты подобных экспериментов, в частности, для каких групп эксперимент удался, и даже важнее – для кого был негативным.
Сектор эмпирического анализа рынков и компаний: Старший научный сотрудник
Случайный эксперимент нужен для проверки эффективности некоторого воздействия: фактическая эффективность воздействия и то, что мы думаем об о ней, могут расходиться и часто расходятся.
Для эксперимента множество людей случайным образом делится на тех, кому направляли воздействие, и тех, у кого осталось «старое поведение». Это позволяет посчитать среднюю эффективность воздействия. Однако необходимо учитывать, что люди неоднородны и по-разному реагируют на одно и то же воздействие. Для повышения эффективности воздействия необходимо уметь описывать те группы, кто откликнулся на воздействие наихудшим образом.
Цель нашей работы в рамках гранта – научиться выделять группы, которые существенно отличаются от среднего поведения участников эксперимента. Они достойны того, чтобы их исследовать и строить гипотезы о том, почему так произошло.
Интерпретацию результатов позволяет провести класс методов Subgroup Discovery. Он включает в себя: функцию optimistic estimate, пространство расстояний, функцию качества каждого элемента.
Нам важно посмотреть: а что такое функция качества? И как считать optimistic estimate? Подходы существуют, но мы понимаем, как их можно улучшить, и это отражается в задачах гранта и имеет отношение целиком к Subgroup Discovery.
В рамках доклада Алексей Бузмаков поделился примером возможного результата анализа данных случайного эксперимента, который проводился в крупной ресторанной сети (выборка – 4000 клиентов). Посетители получили 350 баллов в подарок и должны были потратить их в течение 2-х недель. Среди описываемых характеристик – средний чек, частота потребления, предпочтения брендов.
В целом, эксперимент дал отрицательный эффект, поскольку уменьшал прибыль (маржу). При этом оказалось, что есть группа «экономных» клиентов. Они тратят мало, не покупают алкоголь, но скидка в 350 баллов, вероятно, позволяет таким клиентам покупать более дорогие товары. Эффект эксперимента на данной группе был отрицательным, но лучше, чем в среднем по выборке.
В завершение выступления Алексей Бузмаков отметил, что в рамках гранта есть ряд направлений для дальнейшего исследования функции optimistic estimate.
В следующую среду, 29 января, в 16.00 с докладом выступит старший научный сотрудник НУЛ междисциплинарных эмпирических исследований, доцент департамента экономики и финансов Софья Куликова.
Тема доклада – «Поиск оптимальной точки для транскраниальной магнитной стимуляции мозга на основе индивидуальных данных МРТ».