A/B 实验平台建设实录：从“拍脑袋”到“数据决策”
当功能迭代变快后，团队最常见争议是“到底哪个方案更好”。这篇文章复盘我们从零搭建实验平台， 让产品和技术用统一数据说话的全过程。
1. 为什么必须做实验平台
过去每次改版主要靠主观评审，上线后再看整体指标，很难判断具体改动的因果关系。结果是迭代多、 结论少，很多优化在不同场景下甚至互相抵消。
2. 平台建设目标
- 支持实验创建、流量分配、白名单和灰度回滚。
- 保证同一用户在实验周期内分桶稳定。
- 提供转化、留存、时长等核心指标自动看板。
- 支持按端、渠道、地区和租户维度拆分分析。
3. 核心设计
3.1 分桶算法
采用“用户 ID + 实验 ID”哈希分桶，保证稳定性与可重放。对匿名访客使用设备指纹 + 会话补偿策略， 降低跨端迁移时的样本污染。
3.2 实验配置中心
所有实验配置统一存储，发布走审批流。客户端只读取“已生效快照”，避免边发布边读取导致行为不一致。 同时支持秒级熔断开关，异常时可快速回退到对照组。
3.3 埋点与口径治理
平台上线前先统一事件命名和指标口径。每个实验必须绑定“主指标 + 护栏指标”， 防止只追某个局部指标而牺牲整体体验。
3.4 统计与显著性
输出置信区间和样本量建议，避免“样本太小就下结论”。平台默认展示实验成熟度状态： 观测中、可判断、建议延长、结果不确定。
4. 风险控制
- 关键交易链路默认排除实验，采用独立沙盒验证。
- 设定全局并发实验上限，防止流量互相污染。
- 实验结束自动归档并清理特性开关，避免“历史债务”。
- 建立反作弊规则，过滤异常行为与机器人流量。
5. 推进节奏
我们分三阶段推进：第一阶段先支持单指标实验；第二阶段补齐多维分析和护栏监控； 第三阶段打通发布系统，实现“实验结果驱动配置变更”的闭环。
6. 业务结果
- 关键页面改版上线前，100% 先走实验验证。
- 需求争议会减少，评审效率明显提升。
- 季度内通过实验确认并推广的优化项达到 27 个。
- 目标漏斗整体转化提升 9.4%。
7. 常见误区
- 只看显著性，不看业务意义与收益规模。
- 实验并发太多，导致样本交叉污染。
- 指标口径不统一，结论无法复现。
- 实验结束不下线开关，系统复杂度持续升高。
8. 实用模板
- 实验立项模板（假设、指标、风险、停止条件）
- 实验复盘模板（结论、外部因素、后续动作）
- 实验治理看板（并发数、成熟度、收益汇总）