A/B-тесты

A/B-тест — это эксперимент, в ходе которого часть показов в блоке с Медиацией Яндекса происходит в соответствии с текущими настройками (Группа А), а другая часть — в соответствии с альтернативными настройками (Группа B). По результатам теста можно сравнить эффективность настроек Группы А и Группы B и принять решение: оставить текущие настройки для всех показов или применить новые.

Создание A/B-теста

Чтобы создать A/B-тест:

1. Откройте настройки блока, на котором вы хотите провести тест.

2. В разделе Рекламные сети нажмите Создать A/B-тест. Откроются настройки Группы B.

3. Введите название A/B-теста.

4. Выберите размер тестовой группы (от 10% до 50%) — это процент трафика, отдаваемого Группе B.

5. Укажите период проведения теста. Рекомендуемый период — не менее 7 дней.

6. Задайте альтернативные настройки Медиации Яндекса. Что именно можно изменить:

   • переопределить источники рекламы, добавив или удалив рекламные сети в блоке;
   • изменить последовательность умного водопада, экспериментируя со значениями eCPM для разных рекламных сетей.

   Примечание

   Рекомендуем в одном тесте экспериментировать только с одним изменением (например, добавить только одну рекламную сеть, а другие настройки оставить как есть) — так будет проще анализировать результаты.

7. Нажмите Сохранить.

В период проведения теста редактирование настроек блока недоступно.

Анализ результатов

Информация о ходе теста и его результатах доступна на вкладке Реклама в приложениях → A/B-тесты. Рядом с названием теста нажмите значок  — откроются данные, представленные в двух таблицах.

Сводная таблица

Содержит общую информацию о выполнении теста:

• Прибыль — разница между вознаграждением, начисленным за показы Группы B, и вознаграждением, начисленным за показы Группы А. По умолчанию разница указана в рублях, но валюту можно изменить на доллары США или евро. Конвертация валют происходит по курсу ЦБ РФ на день показа;
• Показы — общее количество показов за время проведения теста. Чем больше количество показов, тем более репрезентативны результаты теста. Мы рекомендуем анализировать результаты, когда общее количество показов превысит 10 000;
• Дни — длительность теста с даты начала и до настоящего времени;
• Размер тестовой группы — процент трафика, отдаваемого Группе B.

Сравнительная таблица

Содержит статистические показатели отдельно по Группе А и Группе B, а также по рекламным сетям внутри Групп:

• Показы — количество показов Группы или рекламной сети за время проведения теста;
• eCPM — cтоимость одной тысячи показов Группы или рекламной сети;
• Fill rate — отношение числа подборов рекламы к числу запросов (в процентах) внутри Группы или рекламной сети;
• Доля показов (Show rate) — отношение числа показов к числу подборов рекламы (в процентах) внутри Группы или рекламной сети;
• Вознаграждение — сумма вознаграждения, начисленная партнеру за показы Группы или рекламной сети. Указывается в той же валюте, что и прибыль в сводной таблице.

В зависимости от результатов завершите тест:

• Если Группа B приносит больший доход, рекомендуем применить новые настройки медиации ко всем показам в блоке.
• Если Группа B приносит меньший доход, рекомендуем вернуть исходные настройки медиации для всех показов в блоке.

Статусы теста

Работающие тесты имеют статус Активно.

Если период теста завершился, но по его результатам решение еще не принято, тест будет переведен в статус Истек срок.

Завершенные тесты имеют статус Остановлен.

Обратиться в службу поддержки