← 返回主页
数据产品组 算法数据平台 产品负责人
算法实验科学评估
核心指标换成长期广告主价值后近半实验判不出显著差异，日常实验又虚高；用 CUPED 降方差和季度反转实验重建评估，显著实验数 +50%，测出日常累加收益约 65% 未在大盘兑现。
+50%
显著实验数
65%
日常累加收益约
显著实验数 +50%
①悬停或点按编号，查看同一个问题对应的方案与结果
问题
Problem- ①核心指标换成长期广告主价值后，深层转化稀疏、方差大，46% 实验不再显著
- ②调价需按整条广告评估，却只能按用户分流，随机种子还跨层不打散，收益被重复计
- ③局部增收常被别处流量损失抵消，多场实验又同作用于一次竞价，日常累加虚高
- ④报告要查 10 次，release 评审只覆盖行业产品一侧
打法
Approach先推动核心指标从短期收入换成长期广告主价值，不让实验只抬点击、不带转化；评估再分两档：日常实验保速度，季度全局反转专测大盘（
- ③）；不全用全局（太慢），也不全用局部（虚高）
方案
Solution- ①亲自研读论文、设计计算方法：先按 99.95 分位削峰，再用实验前数据做 CUPED→方差变小，小幅收益也能判显著
- ②调价实验改按广告分流→按整条广告评估价格效果，推动重定义随机种子层级→各层实验打散，收益不再重复计
- ③亲手设计用户级全局进组的数据方案（含 SQL），把全局进组从实时链路 0 事故迁到离线链路→别处流量损失计入实验收益，季度反转用独立实验域、隔离埋点→不污染日常实验
- ④报告做成一键模板，release 评审扩到整个商业平台部
攻坚
Hard parts- ①新用户没有实验前数据→用均值替代，修正项为 0，新老用户混评仍无偏
- ②头部广告让按广告分流不均→大广告仍按用户、小广告按广告，并枚举当天变档的广告
- ③大盘真实增量难测→季末切 20% 流量跑 7 天，季初、季末模型各 10%，贯穿 62 个实验层
结果
Results- ①显著实验数 +50%，验证时 11 个不显著实验有 7 个转显著
- ②成本达标金额 +26%
- ③24Q1 反转测得广告主价值真实增量 +22.3 万/天，日常累加收益约 65% 未在大盘兑现，反转准备 7 天→10 分钟
- ④报告查 10 次→1 键，整理 1 人天→0.1 人天