Канали, які звітують про найбільший дохід у піковий сезон, не обов'язково приносять найбільше продажів. Холдаут-тести дозволяють з'ясувати, які канали генерують інкрементальний дохід, і ухвалювати рішення про бюджети ще до початку активних витрат. За даними Adobe, Cyber Week 2025 приніс рекордні 44,2 млрд доларів онлайн-витрат. Для брендів, з якими працює автор джерела, період Cyber 5, тобто п'ять днів від Дня подяки до кіберпонеділка, склав 21,5% загального доходу за листопад і грудень. Коли такі гроші проходять за кілька днів, переоцінка каналу коштує дорого.
Дослідження Nielsen показало, що 84% команд заявляють, що можуть довести ROI, але лише 38% аналізують кожен канал. Ця розбіжність і створює простір для завищеного приписування заслуг. Саме тому автор радить планувати холдаут-тести заздалегідь, щоб отримати результати, за якими можна діяти.
Холдаут-тест є контрольованим експериментом. Команда обирає один канал, наприклад партнера з купонами або контентного партнера, і вимикає його для частини аудиторії. Решта аудиторії продовжує бачити цей канал. Різниця між двома групами за той самий період і є інкрементальним доходом каналу. Інкрементальність означає ту частину продажу, яка не відбулася б без конкретного маркетингового контакту. Якщо вимкнення купонного партнера для частини аудиторії майже не змінює продажі, більшість доходу, який канал собі приписував, була б отримана й без нього.
Вибір дизайну тесту залежить від каналу. Гео-холдаути, коли канал призупиняють у відповідних регіонах, найчастіший вибір для афілійованого маркетингу. Холдаути за аудиторією або кодом, коли купон чи посилання приховують для випадкового відсотка клієнтського списку, підходять для закритих програм. Купонних і лояльних партнерів часто переоцінюють за останнім кліком, тож для них варто запускати купонні холдаути. Креатор-маркетинг часто працює поза піксельним трекінгом, наприклад у TikTok Shop і Amazon, тому для нього доречні тести за кодом або географією. За можливості варто відкладати 20–30% трафіку, цілитися принаймні в 200 конверсій на тиждень і тримати тест чотири–вісім тижнів. Навіть коротші тести можуть дати корисні дані. Якщо повний холдаут надто дорогий, можна почати з меншого сегмента трафіку або тестувати по одному каналу за раз. Навіть частковий тест показує, чи не отримує канал забагато заслуг.
Контрольна група має залишатися чистою. Вимкніть посилання, блокуйте купонні розширення через мережеві налаштування і попередьте ключових видавців про тести. Стежте за всім, що може забруднити контрольну групу, зокрема флеш-розпродажами конкурентів чи власними промо, і фіксуйте це в журналі. Один із сигналів, що контрольна група скомпрометована: прямий трафік зростає в призупинених ринках, а брендовий пошук залишається незмінним. Порівнюйте аудиторію, що бачила канал, з контрольною аудиторією, потім з попереднім періодом і з результатом минулого року.
Далі варто перейти від ROAS до інкрементального ROAS (iROAS): дохід тестової групи мінус дохід контрольної, поділений на витрати, при масштабуванні груп до однакового розміру. Автор наводить приклад: купонні партнери показують ROAS 21x, а контентні партнери 8x. Якщо відсортувати за ROAS, контентних партнерів відсіють першими. Якщо відсортувати за кількістю залучених нових клієнтів, їх відсіють останніми. Контент і PR працюють на ранніх етапах шляху до покупки, тож коротке вікно атрибуції за останнім кліком дає їм мало заслуг.
Тести варто проводити заздалегідь, а не лише в період найбільшої волатильності, інакше даних буде менше і користі теж. Cyber 5 триває з 26 по 30 листопада. Чотиритижневий тест, що стартує в тиждень з 26 жовтня, закінчується близько 23 листопада, безпосередньо перед піком. Спершу перевірте всі посилання, UTM-мітки і пікселі, адже зламані UTM не можна виправити вже під час тесту. З 1 листопада і до кінця свят зафіксуйте трекінг, бо будь-яка зміна тегу під час тесту може зіпсувати дані. Фіксуйте кожну промо-акцію, розсилку й зміну ціни та встановіть єдине джерело правди.
Результати варто перевіряти відразу після Cyber 5, а не в січні, і очікувати, що частина даних переглянеться. Не оголошуйте піковий період успішним, доки не перевірили ефект перенесення попиту, коли покупці купили б пізніше й так. Знижковий обсяг від наявних клієнтів є зсувом у часі, а не зростанням. Тестування слід продовжувати, бо результати можуть змінюватися від сезону до сезону.
Кожен висновок має мати відповідального, рядок бюджету або наступний тест. Інакше це просто ретро-презентація, що лежить на диску. Вкладайте гроші туди, де бачите підтверджений приріст, а не в канали з найкращими цифрами за останнім кліком, і розгляньте схеми комісій, які винагороджують залучення нових клієнтів. У піковий період бюджет дістається каналам, які показують найвищі цифри. Успішні бренди знають, яка цифра правдива.