• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Случайные эксперименты: как сделать воздействие эффективным?

В пермском кампусе НИУ ВШЭ состоялся второй научный семинар цикла «Цифровые трансформации». Доцент кафедры информационных технологий в бизнесе Алексей Бузмаков представил проект, посвященный методам машинного обучения для интерпретации результатов случайных экспериментов. Исследование проводится в рамках гранта РФФИ «Стабильность».

Случайные эксперименты помогают в оценке эффективности тех или иных воздействий, например проведения маркетинговой кампании, выпуска нового лекарства и т.д. Алексей Бузмаков отметил, что методы машинного обучения позволяют оценить результаты подобных экспериментов, в частности, для каких групп эксперимент удался, и даже важнее – для кого был негативным.

Бузмаков Алексей Владимирович,
Сектор эмпирического анализа рынков и компаний: Старший научный сотрудник

Случайный эксперимент нужен для проверки эффективности некоторого воздействия: фактическая эффективность воздействия и то, что мы думаем об о ней, могут расходиться и часто расходятся.

Для эксперимента множество людей случайным образом делится на тех, кому направляли воздействие, и тех, у кого осталось «старое поведение».  Это позволяет посчитать среднюю эффективность воздействия. Однако необходимо учитывать, что люди неоднородны и по-разному реагируют на одно и то же воздействие. Для повышения эффективности воздействия необходимо уметь описывать те группы, кто откликнулся на воздействие наихудшим образом.

Цель нашей работы в рамках гранта – научиться выделять группы, которые существенно отличаются от среднего поведения участников эксперимента. Они достойны того, чтобы их исследовать и строить гипотезы о том, почему так произошло.

Интерпретацию результатов позволяет провести класс методов Subgroup Discovery. Он включает в себя: функцию optimistic estimate, пространство расстояний, функцию качества каждого элемента.

Нам важно посмотреть: а что такое функция качества? И как считать optimistic estimate? Подходы существуют, но мы понимаем, как их можно улучшить, и это отражается в задачах гранта и имеет отношение целиком к Subgroup Discovery.

В рамках доклада Алексей Бузмаков поделился примером возможного результата анализа данных случайного эксперимента, который проводился в крупной ресторанной сети (выборка – 4000 клиентов). Посетители получили 350 баллов в подарок и должны были потратить их в течение 2-х недель. Среди описываемых характеристик – средний чек, частота потребления, предпочтения брендов.

В целом, эксперимент дал отрицательный эффект, поскольку уменьшал прибыль (маржу). При этом оказалось, что есть группа  «экономных» клиентов. Они тратят мало, не покупают алкоголь, но скидка в 350 баллов, вероятно, позволяет таким клиентам покупать более дорогие товары. Эффект эксперимента на данной группе был отрицательным, но лучше, чем в среднем по выборке.

В завершение выступления Алексей Бузмаков отметил, что в рамках гранта есть ряд направлений для дальнейшего исследования функции optimistic estimate.

В следующую среду, 29 января, в 16.00 с докладом выступит старший научный сотрудник НУЛ междисциплинарных эмпирических исследований, доцент департамента экономики и финансов Софья Куликова.

Тема доклада – «Поиск оптимальной точки для транскраниальной магнитной стимуляции мозга на основе индивидуальных данных МРТ».

Приглашаем всех желающих принять участие! 

Расписание семинаров цикла «Цифровые трансформации»