A/B 测试
A/B 测试是一种实验,其中当前设置应用于 Yandex 聚合单元中的一部分展示(控制组),而替代设置应用于另一部分展示(测试组)。根据测试结果,您可以比较“控制组”和“测试组”设置的有效性,并决定是否为所有展示保留当前设置或应用新设置。
创建 A/B 测试
要创建 A/B 测试:
-
打开要运行测试的单元的设置。
-
转到 Networks 并点击 Create A/B test。随后将会打开测试设置。
-
输入 A/B 测试的名称。
-
选择测试组的大小(从 10% 到 50%):这将决定流向到测试组的流量百分比。
-
指定测试期限:建议期限至少为 7 天。
-
配置 Yandex 聚合的替代设置。 您可以更改的内容包括:
- 通过在单元中添加或删除广告网络来重新定义广告来源。
- 通过试验不同广告网络的 eCPM 值来更改智能瀑布流序列。
备注
我们建议每次只更改一个设置进行测试(例如,添加一个广告网络并保持其他设置不变):这样有助于简化结果分析流程。
-
点击 Save。
您无法在测试期间更改单元设置。
分析测试结果
要检查测试进度并查看结果,请转至 Ads in apps → A/B tests。点击测试名称旁边的 。随即将显示两部分的数据:
概要表
包含测试的一般信息:
- Profit:测试组广告展示产生的收益与控制组广告展示产生的收益之间的差异。默认情况下,差额以卢布表示,但您可以将币种更改为美元或欧元。货币金额按照展示当日的俄罗斯联邦中央银行的汇率进行转换。
- Impressions:测试期间的总展示次数。展示次数越多,测试结果越具代表性。我们建议在总展示次数超过 10,000 次时分析结果。
- Days:从开始日期到现在的测试持续时间。
- Test group allocation:流向测试组的流量百分比。
比较表
该表包含控制组和测试组以及各组内广告网络的单独统计指标:
- Impressions:测试期间各组或广告网络的展示次数。
- eCPM:某组或广告网络的每千次展示成本。
- Fill rate:某组或广告网络内广告投放数量与请求次数的比率(以百分比表示)。
- Show rate:某组或广告网络内展示次数与广告投放数量的比率(以百分比表示)。
- Impressions:因某组或广告网络内广告展示而向合作伙伴支付的报酬金额。该金额与概要表中的利润以相同的币种表示。
根据结果,完成测试:
- 如果测试组产生更多收入,我们建议将新的聚合设置应用于该单元中的所有广告展示。
- 如果测试组产生的收入较少,我们建议将单元中所有广告展示的聚合设置恢复为原始状态。
测试组状态
正在运行的测试具有 Active 状态。
如果测试期已结束,但尚未基于其结果做出决定,则测试状态将更改为 Expired。
已完成的测试具有 Stopped 状态。
备注
如需提前完成测试,请在单元设置中点击End A/B test。