Эксперименты в социальных науках и бизнес-практиках: зачем, где и как?

22 февраля научно-учебная группа «Гетерогенные эффекты воздействия в клиентской аналитике» провела второй по счету научный семинар для студентов Пермской Вышки. На семинаре заведующий научно-учебной лабораторией эмпирического анализа рынков и компаний GAMES, доцент департамента экономики и финансов Дмитрий Потапов обсудил уникальность использования экспериментов.

Потапов Дмитрий выступил с докладом «Эксперименты в социальных науках и бизнес-практиках: зачем, где и как?», в ходе которого рассказал, какую роль играют эксперименты в социальных науках и при решении бизнес-задач, а также, почему ряд ключевых закономерностей интересующих нас процессов можно понять только через эксперименты. На семинаре обсудили, в каких областях распространены эксперименты и что этому способствует. В заключение доклада проанализировали, как корректно спланировать эксперимент и как простым способом оценить его результаты.

В рамках семинара была затронута крайне актуальная для маркетинга тема: как научиться выделять (и описывать) группы клиентов, которые значимо отличаются с точки зрения реакции на воздействие. В мире, где все большую популярность приобретают персонифицированные коммуникации, а объемы доступной информации о клиентах велики как никогда, каждая компания хочет как можно более точно понять ценность и эффективность той или иной коммуникации для разных клиентов (сегментов клиентов). Во-первых, точный подбор коммуникации позволяет получать больший отклик от клиента, во-вторых, больший уровень персонификации с точки зрения клиента дает ощущение близкого контакта с компанией, что положительно влияет на рост вовлеченности клиента в потребление и на его лояльность к компании в целом.

Одной из главных проблем при оценке и сравнении эффективности разных маркетинговых кампаний является невозможность наблюдения одного и того же клиента в ситуации "под воздействием" и "без воздействия", поскольку нельзя одновременно и прислать и не прислать коммуникацию клиенту. На семинаре был рассмотрен инструмент, позволяющий решить проблему оценки эффекта от воздействия во многих сферах и в маркетинге в том числе. Так, для создания ситуации, в которой возможно понять эффективность механик для сегментов клиентов используется механизм рандомизированного эксперимента.

Рандомизироанный эксперимент подразумевает, что в доэкспериментальном периоде клиенты подразделяются на группы (контрольную и экспериментальную), которые схожи по основным клиентским характеристикам - это позволяет говорить о схожести паттернов поведения этих клиентов до момента воздействия. В рамках маркетинговой кампании воздействие производится только на одну группу (экспериментальную) и изменение поведения клиентов экспериментальной группы в экспериментальный/послеэкспериментальный период считается спровоцированным конкретным экспериментом.

Для сравнения эффективности различных механик используется такой показатель как инкрементальный эффект - прирост показателя в экспериментальной группе относительно контрольной (прирост выручки/прибыли/маржи и т.д). Размер прироста, который провоцирует кампания, характеризует насколько сильно тот или иной маркетинговый посыл способен менять паттерны поведения сегментов клиентов. Помимо величины прироста важно оценивать значимость результата, неслучайность полученного эффекта.

Возможность оценки изменения поведения клиентов с различными характеристиками важна не только сама по себе как результат маркетинговых усилий, но и имеет немалую ценность с точки зрения информации, которую маркетолог может использовать после применения воздействия. Крайне важно понимать, действительно ли средний эффект прироста характерен для всех представителей сегмента или существует такой подсегмент с особыми характеристиками, для которого данная механика еще более эффективна/полностью неэффективна. Данный вопрос и является точкой интереса научно-исследовательского гранта.