Блог

Делимся выстраданным кейсом. Почему выстраданным? Потому что тестировали долго, сложно, но результат превзошел все ожидания. Детали — ниже.

Реклама на Поиске Google, продукт — не будем называть)), геолокация — Франция, 2020 год.

Кампания работала на ручных ставках, результат — неплохой, вполне сопоставим с результатом «соседних» рекл. кампаний в аккаунте, но предполагали, что стоимость получения конверсии (лида) можно снизить ещё! Соответственно пошла классическая череда гипотез и тестирований. Упускаем все многочисленные проведённые эксперименты, остановимся на последнем, который самый показательный, результативный и самое главное репрезентативный (кто дружит со статистикой, поймёт важность последного)).

Итак, с конца зимы 2020 начали тестировать автоматизированные стратегии назначения ставок — так сказать стратегии, основанные на машинном обучении системы.

В большинстве случаев, мы не запускаем новые фишки рекл. сервисов без тестирования, поэтому все гипотезы проходят через А/Б-тесты, и по результатам или отсекаются или принимаются и внедряются в рекл. кампаниях.

Тестировали самые популярные в контекстной рекламе автостратегии Google Ads:

• максимум конверсий
• рентабельность инвестиций
• целевая цена за конверсию.

В нашем случае для кажого теста нужен период не менее одного месяца, чтобы собралось достаточное кол-во статистики для статистически верного вывода и принятия решения ЗА или ПРОТИВ.

Подготовили А/Б-тест: кампания разделена на исходную (с ручными ставками) и экспериментальную (автостратегия), трафик между ними делился 50% на 50%, результаты соответственно должны быть чистыми и правильными 🙂

Запустили тест. И тут:

— Тук-тук!

— Кто там?

— Covid-19!

— <kby rfrjuj [htyf!  :((((  (такими были наши эмоции)

На смутный период карантина рекл. кампании были приостановлены, и тестирование к сожалению тоже. Накопленная статистика уже не имела ценности, время утеряно. Пауза.

С мая кампании запустились, и мы снова запустили А/Б-тест. Тестировали стратегию «Максимум конверсий». Кампании запустились после паузы не очень хорошо, все показатели просели, поэтому для тестирования собирали данные около двух с половиной месяцев. Результат — данная стратегия сработала хуже ручного управления. Поэтому тестирование продолжаем.

Следующий тест — тест стратегии «Целевая рентабельность инвестиций«. Уложились в 1,5 месяца, результат — снова хуже, чем было.

Не останавливаемся!
Следущий тест — целевая цена конверсии. А/Б-тест с тем же распределением трафика — 50% на исходную, 50% — на экспериментальную кампанию.

Результаты были очень хорошие! Но мы решили перепроверить гипотезу еще и в более простом эксперименте — не в параллельном тестировании, а в последовательном (хоть он и менее точный) — то есть, после проведенного А/Б-тестирования оставили работать исходную кампанию некоторое время, а через 3 недели (данных уже было достаточно) её приостановлили и запустили полноценно новую РК. И сравнили показатели.

Делимся статистикой, как работала новая кампания с новой стратегией и какие результаты получены.

Ниже — скриншот.
Чтобы проще воспринимать — выделили показатели ДО и ПОСЛЕ цветами:

• было: 5,6 конверсий по 64 евро;
• стало: 8,8 конверсий по 25 евро;

Уточнение: в таблице не видно кол-ва трафика, но его достаточно для оценки результата и выводов.

Итог: найдена стратегия, которая  в данном случае даёт существенно лучше результат, чем другие: 57% — рост количества конверсий при 39%-ном снижении их цены.

Всем  — конверсий! 🙂