Отчет «Директ, эксперименты»
Эксперименты помогают тестировать не только разные варианты объявлений или посадочных страниц, но и различные предположения о работе рекламы в Яндекс Директе. Тестировать можно любые настройки кампаний, типы кампаний и медиапланы.
Отчет помогает определить, насколько успешно работает эксперимент: вы можете сравнивать тестовые группы между собой и с контрольной группой, если используете ее в эксперименте, по множеству метрик (например, отказам и времени на сайте), а также по конверсионности. Таким образом, с помощью отчета можно проанализировать результат эксперимента на основе множества показателей.
Если вам нужно получить однозначный ответ на основе CPA, используйте Калькулятор достоверности A/B тестирования. Также он позволяет менять уровень значимости (p-value). В отчете «Директ, эксперименты» p-value равен 68 %.
Посмотреть отчет: .
Условия для получения отчета
Чтобы провести тестирование, создайте эксперимент в Яндекс Аудиториях — укажите, на сколько сегментов и в каких пропорциях нужно разделить аудиторию. Затем настройте по эксперименту рекламные кампании в Яндекс Директе.
Если вы удалили эксперимент в Аудиториях, то в Метрике статистика по нему и его сегментам доступна за период до удаления.
Как правильно провести эксперимент
До запуска эксперимента дайте понятные названия экспериментальным кампаниям в Директе. Так вам будет удобнее анализировать статистику в Метрике.
В названии укажите эксперимент и ту его группу, на которую нацелена кампания. Например, если одна из групп в вашем эксперименте — контрольная (вы будете сравнивать с ней результаты остальных групп), это стоит прописать в названии нацеленной на нее кампании.
После того, как вы запустили экспериментальную кампанию в Директе, можно проверить, что эксперимент действительно запустился. Для этого в отчете Метрики «Директ, эксперименты» создайте сегмент со всеми кампаниями, которые участвуют в эксперименте. Если по этим кампаниям в отчете отображаются визиты и другая статистика, значит, эксперимент запущен.
После того, как вы создали эксперимент в Аудиториях, система случайным образом делит пользователей Яндекса на экспериментальные группы. В эксперимент могут попасть и те пользователи, которые заходили на сайт рекламодателя, и те, которые его еще не посещали. При этом посетившие сайт пользователи могли перейти на него не только по рекламе Директа. Поэтому, чтобы выбрать из всех визитов только визиты по рекламе, нужно создать сегмент с нужными кампаниями Директа.
Оценка результатов эксперимента
В отчете «Директ, эксперименты»:
- Выберите эксперимент, который хотите проанализировать.
- Выберите сегмент с кампаниями Директа, которые созданы для эксперимента. Если сегмента еще нет, создайте его, как описано в рекомендациях.
- Сравните сегменты эксперимента. Нажмите кнопку Режим сравнения и выберите контрольную группу — ту, с которой будете сравнивать результаты других групп.
- Зеленый или красный — данных достаточно для оценки результата эксперимента. Зеленый означает, что данная метрика оказалась значимо лучше, чем в контрольной группе. Красный — значимо хуже.
- Серый — данных достаточно, но значения метрик в контрольной группе не отличаются от тестовой.
Выделения нет, если для выбранной метрики недоступен режим сравнения или не накопилось достаточно данных. Подождите еще какое-то время или запустите эксперимент с другими настройками, позволяющими собрать больше трафика.
- просмотры;
- визиты;
- целевые визиты;
- посетители;
- целевые посетители;
- достижения цели;
- достижения цели на посетителя;
- конверсия;
- конверсия посетителей;
- отказы;
- просмотры товаров;
- посетители, просмотревшие товар;
- товаров добавлено в корзину;
- товаров удалено из корзины;
- количество посетителей, добавивших товар в корзину;
- товаров куплено;
- количество посетителей, купивших товар;
- доля пропущенных звонков;
- доля первичных звонков;
- количество звонков с уникальных номеров.
Вы можете добавить в отчет другие метрики. Выделятся цветом только перечисленные в списке выше.
Интерпретация данных
С помощью отчета вы можете сравнивать рекламные кампании по разным метрикам. Это поможет понять, по каким метрикам одна кампания должна быть эффективнее другой.
Чтобы убедиться в результате эксперимента, вы можете учесть погрешность. Это возможное отклонение реального значения метрики от истинного значения: такого, к которому она бы стремилась, если бы экспериментальная кампания велась бесконечно долго. Чтобы учесть погрешность, нажмите Режим сравнения и включите отображение погрешности.
Погрешность в отчете относительная. Ее показатель отражает на сколько процентов возможен разброс величины. Чем ниже погрешность, тем выше вероятность, что значение метрики истинное. Чем выше — тем отклонение больше. Таким образом, можно считать, что при прочих равных показатели лучше у той рекламной кампании, у которой погрешность ниже.
Структура и настройки отчета
Данные в отчете сгруппированы по названию эксперимента, созданного в Яндекс Аудиториях. В отчете нет возможности добавлять группировки и сегменты, кроме тех, которые созданы для ведения эксперимента.
Некоторые метрики рассчитываются и отображаются только при выполнении условия:
| Метрика | Условие |
|---|---|
| Целевые визиты | Настройте цели. |
| Целевые посетители | |
| Достижения цели | |
| Достижения цели на посетителя | |
| Конверсия | |
| Конверсия посетителей | |
| Просмотры товаров | Передавайте в Метрику данные электронной коммерции. |
| Посетители, просмотревшие товар | |
| Товаров добавлено в корзину | |
| Товаров удалено из корзины | |
| Количество посетителей, добавивших товар в корзину | |
| Товаров куплено | |
| Количество посетителей, купивших товар | |
| Доля пропущенных звонков | Передавайте в Метрику информацию о звонках. |
| Доля первичных звонков | |
| Количество звонков с уникальных номеров |
| Метрика | Условие |
|---|---|
| Целевые визиты | Настройте цели. |
| Целевые посетители | |
| Достижения цели | |
| Достижения цели на посетителя | |
| Конверсия | |
| Конверсия посетителей | |
| Просмотры товаров | Передавайте в Метрику данные электронной коммерции. |
| Посетители, просмотревшие товар | |
| Товаров добавлено в корзину | |
| Товаров удалено из корзины | |
| Количество посетителей, добавивших товар в корзину | |
| Товаров куплено | |
| Количество посетителей, купивших товар | |
| Доля пропущенных звонков | Передавайте в Метрику информацию о звонках. |
| Доля первичных звонков | |
| Количество звонков с уникальных номеров |
Общую статистику по эксперименту можно посмотреть в других отчетах по Директу, например Директ, сводка:
Название эксперимента в Яндекс Метрике отображается в виде условия группировки. Например, вы можете посмотреть статистику по рекламной кампании в рамках эксперимента.
Созданный в Яндекс Аудиториях сегмент отображается в Яндекс Метрике в виде условия сегментирования. Например, вы можете посмотреть глубину просмотров только тех посетителей, которые попали в выбранный сегмент эксперимента.
Вопросы и ответы
Чтобы сравнить показатель отказов и конверсию в экспериментальной и контрольной кампаниях, в режиме сравнения переключите нужный столбец на относительные величины (
). Вы увидите не долю данной метрики в «итого и среднем», как в других отчетах Метрики, а процент, на который значение метрики в экспериментальной кампании отличается от контрольной.
Например, если вы видите 100% в столбце Показатель отказов для экспериментальной кампании, это значит, что отказы одинаковы в контрольной и экспериментальной группах.
Метрика использует разные методики проверки статистической значимости для метрик, исходя из поведения каждой из них. При сравнении учитываются не абсолютные значения, а разброс экспериментальной и контрольной группы.
