Твердий стандарт оцінки результатів креативу

Мені не подобається брати участь в обговореннях чужих креативів, але подобається їх читати.

У кожній такій дискусії знайдеться «експерт», який принижує аргументи інших фразою, що всі учасники — діти, а дорослі люди оцінюють креатив (ви зараз офігієте) результатами.

Давайте трохи поговоримо про вплив креативу на результати.

Справа в тому, що якщо ви кидаєтеся фразами типу «ну, подивимося на результати» або «в креативі головне ефективність», то це означає, що, швидше за все, ви ніколи в житті на ці самі результати не дивилися.

Якби дивилися, то знали б: не існує способу оцінити ефект креативу.

Спробую розписати все, що знаю про це, а заодно — для розваги — зробимо класифікацію маркетингово-стратегічного божевілля за способами вимірювати ефект креативу.

Отже, уявімо, що у вас є ідея креативу:

«Якщо правильно експлуатувати бетон від Ковальської, він буде твердим, як ерегований пеніс (хуй)».

Мммм, непогано. Поїхали:


1. Крайня форма божевілля — заявити, що потрібно дивитися на результати продажів.

Ви напевно чули, що бізнес — це складна система з купи взаємопов'язаних факторів.

Ось лише поверхневий перелік того, що впливає на продажі: виробництво, відділ продажів, фінансові умови, маркетингові активності, поведінка клієнтів, економічна ситуація, активність конкурентів.

У цьому клубочку взаємопов'язаних факторів людство досі не знайшло способу виділити ефект навіть всієї функції маркетингу, якщо що.

Ну просто неможливо зрозуміти, хто більше вплинув на продажі: сейлзи, які вели переговори, або реклама, яка їх підігрівала; або, може, директор виробництва, який удосконалив продукт, щоб сейлзи виглядали переконливо, а в рекламі було що сказати.

Вони всі разом дали результат. Будь-яка формула розрахунку впливу окремої функції буде настільки умовною і надуманою, що будь-який незадоволений зможе вказати на її недосконалість.

А заявляти, що ви можете обчислити ефект на продажі від креативної ідеї однієї рекламної кампанії — це крайня форма божевілля.

Найкраще у мене вийде пояснити це через історію.

Якось до мене прибігли медійники і з радісними обличчями повідомили, що знайшли математичний спосіб виміряти ефект креативу.

Про що йшлося. Є такий фетиш у медійників (до речі, цілком гідний) — ліпити з усього математичні моделі.

Вони беруть історичні дані по купі факторів, забивають у велику таблицю, накладають зверху історію продажів, і модель починає рахувати кореляцію між змінами у факторах і продажами. На основі цього аналізу потім можна будувати прогноз продажів.

Тоді мені показали модель для пивного бренду. Виглядала вона вражаюче. Три роки історії змін цін — своїх і конкурентів, історія інвестицій в медіа (знову ж таки — своїх і конкурентів), коливання валютного курсу, температура повітря, дистрибуція і ще купа всього.

Все це накладалося на історію продажів, і в результаті модель будувала прогноз: ми вводимо, скільки плануємо вкласти в рекламу, прогноз курсу, погоди, інвестицій конкурентів — і отримуємо прогноз продажів.

І ось медійники показують мені результати кампанії:

— Бачиш наш прогноз по продажах? А бачиш фактичну криву?
Фактична на два процентних пункти вище, ніж прогноз!
Креатив дав +2 п.п. до продажів!

Я сказав, що вони дивні, якщо видають похибку своєї моделі за ефект креативу.

Чому я так сказав. Тому що жодна математична модель не може включити в себе всі фактори, які впливають на результат. Тому реальність завжди хоча б трохи буде розходитися з прогнозом.

І ось ці медійники взяли всі невраховані фактори і видали їх за ефект креативу.

Але більше. Креатив як фактор взагалі неможливо вставити в матмодель. Тому що креатив не можна виміряти математично, як коливання курсу або бюджету на медіа.

Навіть суб'єктивно ви не можете поставити дві ідеї поруч і сказати: ця має 90 балів, а ця 68. У вас буде тільки приблизне відчуття, що одна ідея краща за іншу. Ви не можете створити критерій, за яким будете оцінювати ідеї.

Усіма улюблений Канеман за це і отримав Нобелівську премію...


кінець першої частини

___

📱 Водоканал

друга частина

Канеман сказав, що економічні прогнози, засновані тільки на раціональних критеріях (математичної кореляції), завжди будуть розходитися з реальністю, тому що люди поводяться ірраціонально. І додав кілька «фокусів» — наприклад, що страх втрати сильніший за жагу виграшу, навіть якщо втрата менше потенційного виграшу.

Канемана, до речі, не люблять вчені, тому що, як будь-який постмодерністський діяч, він витратив сили, щоб довести, що всі навколо дурні, а ось новий спосіб робити економічні прогнози запропонувати забув.

Справа в тому, що в науці задовго до Канемана існував постулат:

«Все, що неможливо порахувати, не існує».

Тобто якщо ми щось не можемо виміряти — ми не можемо це врахувати в прогнозах і виміряти результат.

А це означає, що коли ви з розумним виглядом кажете «подивимося на результатах», ви показуєте себе неадекватним, тому що немає способу оцінити і спрогнозувати ефект вашої креативної ідеї. Ви просто схрещуєте пальці і молитеся, щоб «це» якось спрацювало.

2. Середня форма божевілля — прив'язати показники реклами до показників бренду.

Це вже дорослий, поважний рівень. Але з одним маленьким «але».

Маркетингова логіка виглядає приблизно так:

Проблема: багато скарг на бетон.

Причина: в спеку з ним потрібно поводитися особливо, але частина клієнтів цього не знає — працює «як завжди», а потім скаржиться.

Гіпотеза: якщо провести навчальну кампанію про те, як користуватися бетоном в спеку, кількість скарг зменшиться.

Тут все виглядає логічно. Беремо вимірювання за кількістю скарг, вимірювання знання особливостей використання бетону в спеку, запускаємо кампанію і вимірюємо після.

Якщо гіпотеза вірна — рівень знань зріс, скарг стало менше, все чітко: зв'язок прямий, ви молодець, можна масштабувати.

Ось тільки ви знову не виміряли креативну ідею. Ви вимірювали ефективність повідомлення, тобто самого факту комунікації правил поводження з бетоном («що говоримо», а не «як говоримо»).

Щоб реально оцінити вплив саме метафори про «твердість, як у піські», потрібно взяти дві однакові кампанії: з однаковими бюджетами, частотою, каналами, повідомленням (що говоримо). Відрізнятися вони повинні тільки креативною ідеєю (як говоримо).

І потім подивитися, після якої кампанії серед людей, які раніше не знали, як поводитися з бетоном, частка тих, хто це засвоїв, виявилася більшою.

Тоді можна говорити про ефект креативу.

Але таких вимірювань майже ніхто не робить. Тому що, по-перше, складно витримати дві кампанії з ідентичними умовами. А по-друге, в офлайн-бізнесі майже нереально знайти дві когорти з однаковим рівнем знань, щоб паралельно робити виміри.

Тобто ваша середня форма божевілля проявляється в біполярці — ви публічно говорите, що вимірюєте креатив, а насправді ні.

3. Легка форма божевілля — виміряти запам'ятовуваність повідомлення.

Або, як кажуть науково, message recall. І це, до речі, єдиний адекватний спосіб оцінити якість креативної ідеї, не змішуючи її з ефектом від медійних інвестицій.

Ви просто показуєте групі людей свій ролик і питаєте:
— Про що це було?
А потім дивитеся, скільки людей відповіли:
— Ну, це про правила поводження з бетоном у спеку.

Ось і все. Тут теж є форма божевілля, просто легка. Тому що ніхто при здоровому глузді не буде збирати репрезентативну вибірку, щоб показати їй ролик.

Я бачив такі сервіси в світі: за два кліки вони можуть зробити панель на 300 осіб вузької цільової аудиторії, показати ролик і зібрати відповіді. Але в Україні такі сервіси не працюють.

А якщо ви збираєтеся показати ролик десяти людям на фокус-групі — копійчана ціна вашої «дослідницької» експертизи.

Ось такі у мене думки.

–
P.S.
Слухайте, є пропозиція.

Раз вже креативники такі недалекі і їм би «тільки смішні ролики знімати і фестивалі вигравати», то може експерт влаштує майстер-клас, як він оцінює ефективність креативу?

Є подкаст у Вані Філіппова, де можна сісти і обговорити разом справжні результати. Класна тема. Давайте.

___

📱 Водоканал