Бренд-лифт или эконометрическое моделирование: что лучше для оценки эффективности рекламы?

С одной стороны, оценить эффективность рекламных затрат на важные показатели бренда не является проблемой для современной индустрии. Оценка зависимости или корреляции между рекламными затратами и, например, продажами достаточно проста. Однако задача усложняется, если речь идет не просто о рекламных затратах, а об оптимизации медиамикса или об оценке эффективности каждого из используемых рекламных каналов. Для этих целей необходимы другие подходы, о которых детально рассказала наша CMO Ирина Оверко. 

Второй метод оценки эффективности рекламы – это так называемые полевые эксперименты. Так, например, рекламодатель может включать или отключать определенный рекламный канал в определенной области/аудитории и на основе сравнения данных разных сегментов делать выводы об эффективности рекламы. Широко известен эксперимент Ebay с брендовым поиском, когда рекламодатель отказался от него в нескольких штатах США, при этом сохранив этот вид поисковых запросов в других штатах. В результате компания пришла к выводу, что они могут себе позволить не инвестировать в поисковые слова содержащие Ebay и сэкономить часть рекламного бюджета за счет высоких позиций в органической поисковой выдаче. Стоит также заметить, что вслед за Ebay данный эксперимент повторили две другие американские компании, но их выводы были противоположными. На двух оставшихся группах я бы хотела остановиться чуть подробнее.

Brand lift как один из способов изучения эффективности рекламы

Третий из способов оценки эффективности рекламы – это так называемые бренд-лифты. Механика данного типа исследования позволяет оценить, насколько больше/меньше пользователи, которые увидели рекламу определенного бренда, знают бренд (любят бренд, готовы купить бренд и т.д.). Это в свою очередь и позволяет сделать вывод об эффективности рекламы.

Суть такого исследования – это четкое разделение пользователей на две группы: тестовую (ту, что контактировала с рекламой) и контрольную  (ту, которая с рекламой не контактировала). Опрос этих двух аудиторий, о том знают ли они бренд, какой их самый любимый бренд или намерены ли они купить бренд, позволяет сравнить средние показатели и сделать выводы об относительной эффективности рекламы. Так, например, если у тестовой группы процент знания бренда выше, чем у контрольной, значит можно сделать вывод о том, что реклама была эффективна в определенной степени.

При этом основной гипотезой, которая делает возможным измерение эффекта каждого отдельно взятого медиаканала через бренд-лифт, является допущение о том, что другая рекламная активность бренда (как в диджитале, так и в других медиа) распределяется и влияет на контрольную и тестовую группы одинаково, т.к. по сути, пользователи должны попадать в тестовую/контрольную группы рандомно и должны обладать одинаковыми характеристиками. Так, например, в тестовой и контрольной группе должен быть одинаковый соц.-дем. профиль (или должно быть осуществлено соответствующее перевзвешивание результатов). Или в случае алгоритмической закупки (например оптимизация охвата на некоторых платформах) контрольная группа должна выбираться из той аудитории, которая по всем оптимизационным характеристикам алгоритма показа рекламы могла бы увидеть рекламу (так называемая hold-out группа).

У бренд-лифта, как способа оценки эффективности рекламы, есть определенные плюсы. Это, в первую очередь, возможность оценить общий краткосрочный эффект конкретной рекламной активности в привязке к конкретному медиаканалу без необходимости сбора больших массивов данных. Также бренд лифт — это исследование из класса random control trial, что дает возможность оценить чистый дополнительный результат рекламной кампании (incremental causality), в отличии от других методов, которые скорее оценивают корреляцию. Возможно, это и сделало бренд-лифт достаточно популярным способом исследования эффективности рекламы. Но у него также есть и минусы, и на них хотелось бы остановится более подробно, так как не все они очевидны.

Недостатки бренд-лифта как способа оценки эффективности РК 

1. Бренд-лифт основан на опросе или самоидентификации пользователя. Подобные опросы могут существенно отличаться от действительности, что подтверждают многочисленные исследования, т.к. пользователи часто отвечают неправдиво, осознанно или нет.
2. Бренд-лифт может оценить только специфические бренд-метрики, такие как знание, намерение купить и др., а не тот результат, который обычно действительно интересует бренд, а именно объем продаж или долю рынка. Самозаявленное знание бренда, которое происходит еще и с подсказкой, далеко не всегда транслируется в фактическую покупку.
3. Данная оценка не может отделить эффекты медиаразмещения от эффектов влияния креатива, то есть бренд-лифт дает понимание общего эффекта от рекламы. Это, в свою очередь, делает невозможным заключение об эффективности непосредственно медийной активности или креатива по отдельности. Такой статус кво существенно ограничивает возможное применение результатов бренд-лифта для  рекламиста/маркетолога.
4. Бренд-лифт каждого отдельного канала коммуникации привязан к методологии, предлагаемой в рамках данного медиаканала, что зачастую делает невозможным сравнение результатов между разными медиаканалами. А значит более детальный анализ сравнительной эффективности разных каналов тоже недоступен, и на основании данных разных бренд-лифтов невозможно производить оптимизацию медиамикса.
5. Бренд-лифт каждой отдельной рекламной кампании в рамках одного канала коммуникации скорее всего основан на разных аудиториях по соц.-дем. принципу, а опрашиваемая аудитория может заявлять некорректный пол/возраст. Также часто собранные ответы не перевзвешиваются на соответствие генеральной совокупности. Это делает сравнение данных между разными бренд-лифтами не всегда корректным.
6. Подобная оценка возможна не на каждом медиаканале, что оставляет «белые пятна» в оценке эффективности, мешает дальнейшей оптимизации, и как результат значительно сокращает возможности бренда. Это, в свою очередь, может существенно влиять на показатели бренда в конкурентных категориях.
7. Обратите внимание на то, кто проводит бренд лифт, и на сколько компания заинтересована в результатах. Также стоит обратить внимание на то, привлекает ли компания третью сторону для подтверждения результатов исследования. Если бренд-лифт производится заинтересованной компанией без стороннего аудита или возможности контроля качества проведения исследования со стороны клиента-заказчика, такое исследование не может вызывать высокую степень доверия.

Бренд-лифт может быть достаточно рабочим способом исследования эффективности рекламы при условии, что в процессе дальнейшего принятия решений учтены его недостатки. Оперативность и низкий уровень трудозатрат данного способа, пожалуй, являются основными преимуществами.

Эконометрическое моделирование как целостный способ оценки эффективности всех рекламных каналов

Четвертая группа методов оценки эффективности рекламы – это эконометрическое моделирование. Оно может строиться на основании анализа user-level data (часто с помощью цепей Маркова), однако в последнее время сбор подобных данных затруднен как регулированием законодательства о конфиденциальности пользователя, так и распространенными walled gardens, которые не дают полный доступ к данным и затрудняют мэтчинг пользователя сквозь свои платформы. Другой подход, использующийся в моделировании, основывается на анализе агрегированных данных, часто называемый Multi Media Mix Modeling, или сокращенно MMM. Подготовка агрегированных данных является более простой и позволяет учесть множество факторов. Модель основана на двух типах переменных. Первый – это зависимая переменная, т.е. та, влияние на которую оценивается (в роли которой могут выступать продажи, доля рынка или любая другая метрика). Второй тип – это независимые переменные, т.е. те, которые влияют на зависимую переменную (в случае с МММ нас будут интересовать рекламные активности, креативные сообщения, конкурентная активность и т.д.). С помощью математического анализа происходит расчет эффектов каждой из независимых переменных на исследуемую зависимую. На основании размера этих эффектов происходит дальнейший анализ эффективности и оптимизация. Математически модель может выражаться следующим образом (упрощенный вариант, обычно переменных гораздо больше):

Эконометрическое моделирование предоставляет более широкий инструментарий в оценке эффективности каналов коммуникации и креативов в рамках этой коммуникации. Так, эконометрическое моделирование позволяет:

• оценивать как краткосрочные, так и долгосрочное эффекты от рекламы;
• делать полноценную мультимедийную оценку, куда можно включить все каналы коммуникации бренда: не только онлайн, но и офлайн-медиа;
• учитывать в оценке влияние «посторонних» факторов, как-то активность конкурентов, погоду, ковид-кейсы, инфляцию, стоимость продукта или промоакции и др.;
• с помощью дополнительных переменных отделять эффекты креатива от медиаэффектов;
• оценивать все медиаканалы в единой шкале и сравнивать их эффективность между собой;
• в качестве основного параметра оценки может быть выбрана любая метрика без значительных ограничений: начиная от знания бренда до фактических продаж, а также доля рынка, поисковые запросы, посещение веб-сайта и т.д.;
• эконометрическое моделирование в данном случае строится на фактических данных, а не на данных опросов, хотя возможен и микс этих показателей, что делает результаты моделирования более ценными;
• модель можно проверить на способность и корректность прогнозирования, что позволяет использовать результат моделирования для важных стратегических решений.

У моделирования есть и некоторые недостатки:

• Необходимость сбора определенного периода фактических данных по разным переменным (рекламная активность, внешние факторы, результаты), что может быть достаточно трудоемким процессом.
• Эффект мультиколиниарности (или большой доли корреляции) между переменными может ограничивать трактовку эффективности отдельно взятого канала коммуникации. Например, когда реклама на всех каналах начинается и заканчивается одновременно, оценить точно каждый отдельно взятый канал становится сложно.
• Любая модель (как и опрос) обладает степенью точности, которая отлична от 100%. Но благодаря оценке доверительного интервала эффектов модели есть возможность принимать во внимание только статистически значимые факторы, погрешность которых не превышает 5%.
• Также модель зачастую не на 100% объясняет результаты основного анализируемого параметра. На поведение и покупку пользователя влияет множество факторов, и не все из них можно перевести в цифры и учесть при моделировании. Однако основные факторы модель в состоянии учесть, проанализировать,  объяснить и даже прогнозировать.
• Модель строится на корреляции данных и не может оценить казуальность (первопричинность).

Как результат, оценка коэффициентов, которые являются результатом расчета модели, позволяет сделать заключение о влиянии и эффективности разных рекламных каналов и других факторов на анализируемую метрику бренда. Данная информация ценна для маркетологов и агентств, позволяет оптимизировать медиамикс и принимать стратегические решения о дальнейшем развитии бренда. Также принцип моделирования позволяет делать оценку постоянно, проверять гипотезы и получать результаты регулярно.

Вместо заключения

По моему убеждению, выбирая метод оценки эффективности рекламы, маркетологу желательно детально разобраться в преимуществах и ограничениях предлагаемых методов исследования. Будь то бренд-лифт или моделирование, именно понимание методологии позволяет корректно трактовать результаты исследования и использовать их в дальнейшем. Ведь ценность исследований не в них самих, а в тех выводах, применениях и оптимизации, которые они позволяют делать на основании получаемых результатов. Без дальнейших действий исследования бесполезны.  Ну, а в мире современных технологий и данных такая опция, как отсутствие оценки эффективности, как мне кажется, не должна рассматриваться как возможная. Особенно в мире диджитал-рекламы.