Блог

Делимся выстраданным кейсом. Почему выстраданным? Потому что тестировали долго, сложно, но результат превзошел все ожидания. Детали - ниже.

Реклама на Поиске Google, продукт - не будем называть)), геолокация - Франция, 2020 год.

Кампания работала на ручных ставках, результат - неплохой, вполне сопоставим с результатом "соседних" рекл. кампаний в аккаунте, но предполагали, что стоимость получения конверсии (лида) можно снизить ещё! Соответственно пошла классическая череда гипотез и тестирований. Упускаем все многочисленные проведённые эксперименты, остановимся на последнем, который самый показательный, результативный и самое главное репрезентативный (кто дружит со статистикой, поймёт важность последного)).

Итак, с конца зимы 2020 начали тестировать автоматизированные стратегии назначения ставок - так сказать стратегии, основанные на машинном обучении системы.

В большинстве случаев, мы не запускаем новые фишки рекл. сервисов без тестирования, поэтому все гипотезы проходят через А/Б-тесты, и по результатам или отсекаются или принимаются и внедряются в рекл. кампаниях.

Тестировали самые популярные в контекстной рекламе автостратегии Google Ads:

• максимум конверсий
• рентабельность инвестиций
• целевая цена за конверсию.

В нашем случае для кажого теста нужен период не менее одного месяца, чтобы собралось достаточное кол-во статистики для статистически верного вывода и принятия решения ЗА или ПРОТИВ.

Подготовили А/Б-тест: кампания разделена на исходную (с ручными ставками) и экспериментальную (автостратегия), трафик между ними делился 50% на 50%, результаты соответственно должны быть чистыми и правильными :)

Запустили тест. И тут:

- Тук-тук!

- Кто там?

- Covid-19!

- <kby rfrjuj [htyf!  :((((  (такими были наши эмоции)

На смутный период карантина рекл. кампании были приостановлены, и тестирование к сожалению тоже. Накопленная статистика уже не имела ценности, время утеряно. Пауза.

С мая кампании запустились, и мы снова запустили А/Б-тест. Тестировали стратегию "Максимум конверсий". Кампании запустились после паузы не очень хорошо, все показатели просели, поэтому для тестирования собирали данные около двух с половиной месяцев. Результат - данная стратегия сработала хуже ручного управления. Поэтому тестирование продолжаем.

Следующий тест - тест стратегии "Целевая рентабельность инвестиций". Уложились в 1,5 месяца, результат - снова хуже, чем было.

Не останавливаемся! Следущий тест - целевая цена конверсии. А/Б-тест с тем же распределением трафика - 50% на исходную, 50% - на экспериментальную кампанию.

Результаты были очень хорошие! Но мы решили перепроверить гипотезу еще и в более простом эксперименте - не в параллельном тестировании, а в последовательном (хоть он и менее точный) - то есть, после проведенного А/Б-тестирования оставили работать исходную кампанию некоторое время, а через 3 недели (данных уже было достаточно) её приостановлили и запустили полноценно новую РК. И сравнили показатели.

Делимся статистикой, как работала новая кампания с новой стратегией и какие результаты получены.

Ниже - скриншот. Чтобы проще воспринимать - выделили показатели ДО и ПОСЛЕ цветами:

• было: 5,6 конверсий по 64 евро;
• стало: 8,8 конверсий по 25 евро;

Уточнение: в таблице не видно кол-ва трафика, но его достаточно для оценки результата и выводов.

Итог: найдена стратегия, которая  в данном случае даёт существенно лучше результат, чем другие: 57% - рост количества конверсий при 39%-ном снижении их цены.

Всем  - конверсий! :)