З одного боку, оцінити ефективність рекламних витрат на важливі показники бренду не є проблемою для сучасної індустрії. Оцінка залежності або кореляції між рекламними витратами та, наприклад, продажами досить проста. Проте завдання ускладнюється, якщо йдеться не просто про рекламні витрати, а про оптимізацію медіаміксу або оцінку ефективності кожного з використовуваних рекламних каналів. Для цього необхідні інші підходи, про які детально розповіла наша CMO Ірина Оверко.
Підходи до оцінки ефективності реклами можна умовно поділити на чотири групи. Перша базова група – це A/B тестування, яке часто застосовується для тестування креативів або аудиторій для таргетингу. Даний метод дозволяє порівняти ефективність роботи креативу/аудиторії за певним параметром (часто у вигляді оцінюваної метрики виступає клік або Click Through Ratio).
Другий спосіб оцінки ефективності реклами – це так звані польові експерименти. Наприклад, рекламодавець може підключати або відключати певний рекламний канал для певної області/аудиторії та робити висновки щодо ефективності реклами на основі порівняння даних різних сегментів. Широко відомий експеримент Ebay з брендовим пошуком, коли рекламодавець відмовився від нього в кількох штатах США, при цьому зберіг цей вид пошукових запитів в інших штатах. В результаті компанія дійшла висновку, що вони можуть собі дозволити не інвестувати в пошукові слова, що містять Ebay, та заощадити частину рекламного бюджету за рахунок високих позицій в органічній пошуковій видачі. Слід зазначити, що після Ebay цей експеримент повторили дві інші американські компанії, та їх висновки були протилежними. Дві групи, що залишилися, я б хотіла розглянути трохи докладніше.
Brand lift як один зі способів вивчення ефективності реклами
Один зі способів оцінки ефективності реклами – це так звані бренд-ліфти. Механіка цього типу дослідження дозволяє оцінити, наскільки більше/менше користувачі, які побачили рекламу певного бренду, знають бренд (люблять бренд, готові купити цей бренд тощо). Це, в свою чергу, дозволяє зробити висновок про ефект Brand lift як один із способів вивчення ефективності рекламності реклами.
Суть такого дослідження – це чіткий поділ користувачів на дві групи: тестову (ту, що контактувала з рекламою) та контрольну (ту, яка не контактувала з рекламою). Опитування цих двох аудиторій щодо того, чи знають вони бренд, який їх найулюбленіший бренд чи мають вони намір купити бренд, дозволяє порівняти середні показники та зробити висновки щодо відносної ефективності реклами. Так, наприклад, якщо у тестової групи відсоток знання бренду вищий, ніж у контрольної, є можливість зробити висновок про те, що реклама була ефективна певною мірою.
При цьому основною гіпотезою, яка робить можливим вимір ефекту кожного окремо взятого медіаканалу через бренд-ліфт, є припущення про те, що інша рекламна активність бренду (як у діджиталі, так і в інших медіа) розподіляється та впливає на контрольну й тестову групи однаково, тому що, по суті, користувачі повинні потрапляти до тестової/контрольної групи рандомно та повинні володіти однаковими характеристиками. Так, наприклад, у тестовій і контрольній групі має бути однаковий соц-дем профіль (або має бути здійснене відповідне перезважування результатів). Або в разі алгоритмічної закупівлі (наприклад оптимізація охоплення на деяких платформах) контрольну групу мають обирати з тієї аудиторії, яка за всіма оптимізаційними характеристиками алгоритму показу реклами могла б побачити рекламу (так звана hold-out група).
У бренд-ліфта, як способу оцінки ефективності реклами, є певні плюси. Це, насамперед, можливість оцінити загальний короткостроковий ефект конкретної рекламної активності в прив’язці до конкретного медіаканалу без необхідності збору великих масивів даних. Також бренд ліфт – це дослідження з класу random control trial, що дає можливість оцінити чистий додатковий результат рекламної кампанії (incremental causality), на відміну від інших методів, які швидше оцінюють кореляцію. Можливо, це і зробило бренд-ліфт досить популярним способом дослідження ефективності реклами. Але у нього також є і мінуси, і на них хотілося б зупинитися детальніше, оскільки не всі вони очевидні.
Недоліки бренд-ліфта як способу оцінки ефективності РК
- Бренд-ліфт заснований на опитуванні чи самоідентифікації користувача. Подібні опитування можуть суттєво відрізнятися від дійсності, адже користувачі часто відповідають неправдиво, усвідомлено чи ні. Це підтверджують численні дослідження.
- Бренд-ліфт може оцінити лише специфічні бренд-метрики, такі як знання, намір купити тощо, а не той результат, який зазвичай справді цікавить бренд, а саме обсяг продажу чи частку ринку. Самозаявлене знання бренду, яке відбувається ще й із підказкою, далеко не завжди транслюється у фактичну покупку.
- Ця оцінка не може відокремити ефекти медіарозміщення від ефектів впливу креативу, тобто, бренд-ліфт дає розуміння загального ефекту від реклами. Це, у свою чергу, унеможливлює висновок про ефективність медійної активності безпосередньо або креативу окремо. Такий статус кво суттєво обмежує можливе застосування результатів бренд-ліфта для рекламіста/маркетолога.
- Бренд-ліфт кожного окремого каналу комунікації прив’язаний до методології, запропонованої в рамках певного медіаканалу, що часто унеможливлює порівняння результатів між різними медіаканалами. А значить, детальніший аналіз порівняльної ефективності різних каналів теж недоступний, і на підставі даних різних бренд-ліфтів неможливо проводити оптимізацію медіаміксу.
- Бренд-ліфт кожної окремої рекламної кампанії в рамках одного каналу комунікації, найімовірніше, заснований на різних аудиторіях за соц.-дем. принципом, а аудиторія, що опитується, може заявляти некоректну стать/вік. Також часто зібрані відповіді не переважують на відповідність генеральної сукупності. Це робить порівняння даних між різними бренд-ліфтами не завжди коректним.
- Подібна оцінка можлива не для кожного медіаканалу, що залишає «білі плями» в оцінці ефективності, заважає подальшій оптимізації, і як результат значно скорочує можливості бренду. Це, у свою чергу, може суттєво впливати на показники бренду у конкурентних категоріях.
- Зверніть увагу на те, хто проводить бренд ліфт, і на скільки компанія зацікавлена в результатах. Також варто звернути увагу на те, чи залучає компанія третю сторону для підтвердження результатів дослідження. Якщо бренд-ліфт проводиться зацікавленою компанією без стороннього аудиту або можливості контролю якості проведення дослідження з боку клієнта-замовника, таке дослідження не може викликати високий ступінь довіри.
Бренд-ліфт може бути досить робочим способом дослідження ефективності реклами за умови, що в процесі подальшого прийняття рішень будуть враховані його недоліки. Оперативність та низький рівень трудомісткості даного способу є, напевно, основними перевагами.
Економетричне моделювання як цілісний спосіб оцінки ефективності всіх рекламних каналів
Четверта група методів оцінки ефективності реклами – економетричне моделювання. Воно може будуватися на підставі аналізу user-level data (часто за допомогою ланцюгів Маркова), проте останнім часом збір подібних даних ускладнений як регулюваннями законодавства про конфіденційність користувача, так і поширеними walled gardens, які не дають повного доступу до даних і утруднюють метчинг користувача крізь свої платформи. Інший підхід, що використовується в моделюванні, ґрунтується на аналізі агрегованих даних, який часто називають Multimedia Mix Modeling, або скорочено MMM. Підготовка агрегованих даних простіша і дозволяє врахувати безліч факторів. Модель ґрунтується на двох типах змінних. Перший – це залежна змінна, тобто, та, вплив на яку оцінюється, в ролі якої можуть виступати продажі, частка ринку чи будь-яка інша метрика. Другий тип – це незалежні змінні, тобто, ті, що впливають на залежну змінну (у випадку з МММ нас цікавитимуть рекламні активності, креативні повідомлення, конкурентна активність тощо). За допомогою математичного аналізу проводиться розрахунок ефектів кожної із незалежних змінних на досліджувану залежну. На підставі розміру цих ефектів проводиться подальший аналіз ефективності та оптимізація. Математично модель може виражатися так (спрощений варіант, зазвичай змінних набагато більше):
Економетричне моделювання надає ширший інструментарій щодо оцінки ефективності каналів комунікації та креативів у межах цієї комунікації. Так, економетричне моделювання дозволяє:
У моделювання є й деякі недоліки:
- Необхідність збору певного періоду фактичних даних з різних змінних (рекламна активність, зовнішні фактори, результати), що може бути досить трудомістким процесом.
- Ефект мультиколініарності (або великої частки кореляції) між змінними може обмежувати трактування ефективності окремого каналу комунікації. Наприклад, коли реклама на всіх каналах починається і закінчується одночасно, оцінити точно кожен окремо взятий канал стає складно.
- Будь-яка модель (як і опитування) має ступінь точності, яка відмінна від 100%. Але завдяки оцінці довірчого інтервалу ефектів моделі можна брати до уваги лише статистично значущі фактори, похибка яких не перевищує 5%.
- Також модель часто не на 100% пояснює результати основного аналізованого параметра. На поведінку та покупку користувача впливає безліч факторів, і не всі з них можна перевести в цифри та врахувати під час моделювання. Однак основні фактори модель можуть врахувати, проаналізувати, пояснити і навіть прогнозувати.
- Модель строится на корреляции данных и не может оценить казуальность (первопричинность).
Як результат, оцінка коефіцієнтів, які є результатом розрахунку моделі, дозволяє зробити висновок про вплив та ефективність різних рекламних каналів та інших факторів на аналізовану метрику бренду. Ця інформація цінна для маркетологів та агентств, і це дозволяє оптимізувати медіамікс та приймати стратегічні рішення щодо подальшого розвитку бренду. Також принцип моделювання дозволяє робити оцінку постійно, перевіряти гіпотези та отримувати результати регулярно.
Замість ув’язнення
На моє переконання, обираючи метод оцінки ефективності реклами, маркетологу бажано детально розібратися у перевагах та обмеженнях запропонованих методів дослідження. Чи то бренд-ліфт чи моделювання, саме розуміння методології дозволяє коректно трактувати результати дослідження та використовувати їх надалі. Адже цінність досліджень не в них самих, а у тих висновках, застосуваннях і оптимізації, що вони дозволяють робити виходячи з одержуваних результатів. Без подальших процесів дослідження марні. Ну, а у світі сучасних технологій і даних така опція, як відсутність оцінки ефективності, як на мене, не повинна розглядатися як можлива. Особливо у світі діджитал-реклами.
