UPD: с марта 2020 года эксперименты доступны всем рекламодателям без запроса.
Сравнить эффективность автостратегии и ручного управления ставками, измерить результаты рекламной кампании с показами только на поиске и с размещением на поиске и в сетях — для таких и более сложных тестов в Директе появился специальный инструмент. Для корректной работы потребуются данные — мы рекомендуем проводить эксперимент, если в рекламной кампании не меньше 200 конверсий в месяц. Поэтому открываем доступ к новым экспериментам в Аудиториях и Директе по запросу — пожалуйста, обратитесь к своему менеджеру в Яндексе.
С помощью новых сегментов в Аудиториях и новых отчётов в Директе и Метрике можно узнать, какая реклама эффективнее. Например, эксперименты помогут понять, как размещение в Рекламной сети Яндекса или выбор стратегии влияет на результат размещения, оценить, как влияют показы медийной рекламы на конверсии на сайте, и так далее.
Как устроены эксперименты в Директе
Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории вы определяете самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми.
Нацелить показы определённых кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18-25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадёт 20% женщин 18-25 лет из вашей аудитории.
Как запустить эксперимент
- Создать эксперимент в Аудиториях — завести сегменты пользователей на долю аудитории.
- В Директе привязать сегменты к тестируемым кампаниям.
- Сравнить статистику по тестовым сегментам и всем остальным пользователям с помощью Мастера отчётов Директа и данных Метрики.
Для правильного эксперимента вам потребуются:
- Настроенные цели или Ecommerce действия в Метрике — источник информации о конверсиях.
- Счётчик Метрики, привязанный ко всем кампаниям, которые вы будете тестировать.
- Накопленная статистика — не менее 200 конверсий в месяц в кампании, которую вы хотите протестировать. Это может быть оформление заказа на сайте, просмотр определённых страниц, заявка на тест-драйв, скачивание брошюры, звонок и так далее.
- Доступ к экспериментам в Аудиториях и Директе. Получить его можно у вашего менеджера в Яндекса или обратившись в отдел клиентского сервиса.
- Гипотеза, которую вы хотите проверить — например, насколько эффективнее стала обновлённая стратегия для сетей.
Зайдите в Аудитории под тем же логином, что и в Директе, и создайте новый эксперимент:
В Директе заведите кампании для эксперимента, к каждой из них подключите счётчик Метрики, привяжите к каждой экспериментальный сегмент и нацельте кампании на них.
В примере с тестированием стратегий нужно создать 2 клона первоначальной кампании и поменять стратегии. Тестовые кампании привязываем каждую к своему сегменту. Исходную кампанию останавливаем, а 2 новые кампании — запускаем. Эксперимент заработал!
Подробнее шаги настройки экспериментов описаны в помощи Директа и Аудиторий. Освоить их поможет и обучающее видео.
Важно:
- Проводить любой A/B-тест следует не менее 2 недель, лучше — больше. Главное, чтобы за этот период успела накопиться статистика.
- Тестировать гипотезы лучше на таких кампаниях, которые успеют собрать за месяц не менее 200 конверсий, которые вам нужны.
- Кампании в эксперименте нужно одновременно начинать и так же одновременно останавливать. То есть кампании, участвующие в тесте, должны в одно время или показываться, или не показываться.
- После эксперимента не забудьте отвязать сегменты от кампаний.
Какие данные анализировать
Переходим к самому интересному. Для анализа понадобятся затраты из Мастера отчётов в Директе и конверсии из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели — скажем, клики, показы или CTR — в рассмотрении не участвуют.
Выбираем эксперименты в качестве условия фильтрации в Директе:
И смотрим расходы по сегментам из эксперимента:
В отчётах Метрики нужно кликнуть на «Группировки», выбрать нужный эксперимент, а затем в окне кликнуть «Метрики» и выбрать конверсии (то есть достижение целей или Ecommerce действие) в интересующей вас воронке. Например, добавление в корзину, посещение карточки продукта или оформление заказа:
Если экспериментальные кампании занимают малую долю рекламного бюджета (менее 50%) — стоит в фильтрах Метрики указать кампании, участвующие в эксперименте.
Пример: сравнение стратегий
Один из рекламодателей Директа решил сравнить, какая стратегия в кампаниях со смарт-баннерами выгоднее. Для этого аудиторию разделили на две части:
Сегмент A — оптимизация количества кликов.
Сегмент B — средняя рентабельность инвестиций.
| Сегмент | Размер сегмента | Расходы в сегменте | Конверсии |
|---|---|---|---|
| Оптимизация количества кликов | 50% | 100 000 руб. | 200 |
| Средняя рентабельность инвестиций | 50% | 100 000 руб. | 500 |
Вывод: при том же бюджете вариант с автостратегией принёс на 150% (± 29%) больше конверсий, чем стратегия на сохранение CPС, при этом CPA уменьшился на 60% (± 5%).
Что ещё можно проверять с помощью экспериментов
Сценариев для экспериментов бесконечное множество — всё зависит от ваших задач. Один из самых простых кейсов — тестирование новых продуктов или функциональностей Директа. Чтобы посмотреть, как новый тип объявлений или стратегия работает в вашей тематике, заведите экспериментальную кампанию с новинкой только на небольшую долю аудитории.
Или вы хотите привлечь больше конверсий и рассматриваете два варианта решения этой задачи: поднять ставки на поиске или включить дополнительную кампанию в Рекламной сети Яндекса. Тут тоже поможет эксперимент в Директе.
Третья распространенная задача: у вас есть два медиаплана, которые хочется сравнить, прежде чем направлять бюджет на один из них.
Какой бы сценарий для эксперимента вы ни выбрали, важно соблюдать простые условия:
- Выбирайте один и тот же временной интервал в Метрике и Директе.
- В этом временном интервале эксперимент должен работать.
- Нужно ограничить статистику на тот регион, в котором вы проводили тест (то есть и в Метрике и в Директе указать фильтр на регион).
Придумывайте свои гипотезы, проверяйте их, пробуйте опции, в которых сомневались или с которыми просто пока не знакомы. Эксперименты позволят вам на основе данных оценить, какой вклад в общие результаты размещения даёт брендовая или видеореклама, объявления в РСЯ и на поиске и многое другое — теперь возможности для разных сценариев практически неограничены. О том, как анализировать результаты экспериментов, мы скоро расскажем в продолжении этого материала. Оставайтесь на связи!
