实验单位与随机分配
填写实验单位、纳入与排除条件、随机分配方法、版本比例、稳定分桶方式和首次曝光定义；说明同一单位如何避免重复进入不同版本。
解决方案
洞察负责提出更好的假设，A/B测试负责判断哪种表达更有效
先从真实消费者内容中发现问题，再按实验单位随机分配版本，预先锁定指标、样本计划与停止规则。本文不给显著性、样本量、实验时长或提升幅度设置通用阈值。
结果判断
点击提升并不自动等于业务更好
先确认实验设计与数据链路有效，再讨论结果；下表只说明解释路径，不提供通用阈值。
结果组合
可能含义
下一步
分流比例异常
可能含义
可能存在埋点、过滤、曝光或随机分配问题
下一步
先排查 SRM 与数据链路，不直接比较版本效果
效应方向有利，但区间很宽
可能含义
当前证据仍不足，真实变化范围可能较大
下一步
按预定规则结束并如实报告，不强行宣布胜出
主指标改善，护栏变差
可能含义
局部收益可能伴随体验、质量或后续行动损失
下一步
结合效应量与业务代价判断，不只看单一显著结果
细分人群出现差异
可能含义
可能是真实异质性，也可能来自多重比较误报
下一步
若未预先设定则标为探索发现，另行设计验证
可直接使用
交付物：内容 A/B 实验预注册单
一项实验填一张，所有字段在首个样本进入前锁定；空缺项标为“待确认”，不能等看到结果后补写。
样本量与最小可检测差异
填写历史基线、业务上值得识别的最小变化、波动、误判与漏判代价、预计样本量和观察窗口。没有脱离这些输入的通用样本量或时长。
埋点与分流校验
填写曝光、主指标、护栏指标、去重和版本字段的事件定义；预先写明如何检查样本比例不匹配（SRM），以及异常时暂停、排查或作废的条件。
互斥与污染防范
登记并行实验、互斥层、跨端登录、分享转发、同期活动和人工触达；说明哪些污染可记录后继续，哪些会让结果失去解释力。
效应量与置信区间
预先指定主指标、估计对象与分析人群；结果同时报告效应量和置信区间，不把“统计上可区分”直接写成“业务上值得推广”。
停止规则与多重比较
填写计划结束条件、异常停止条件、中途查看规则，以及多版本、多指标和多人群的校正方法；未预注册的切片一律标为探索发现。
明确分工
消费内容洞察和实验不能互相替代
洞察回答“为什么值得测”
从高质量评论、竞品比较和购买阻力中识别有业务意义的问题，确定要改变的是理解、信任、选择还是行动。
A/B测试回答“哪个版本更有效”
先确定实验单位，再把单位随机分配到互斥版本；在受控条件下只改变一个关键变量，用预先定义的指标比较结果。
假设来源
先把消费信号写成值得验证的问题
场景错位
用户讨论的任务与品牌主推场景不同，可验证哪种场景表达更容易被目标人群理解。
证据不足
用户认可卖点却仍然犹豫，可比较过程证据、对比证据或边界说明的作用。
术语难懂
消费者无法复述专业概念，可比较用户语言与品牌术语对理解的影响。
实验流程
从消费者原话到可复核结论
设计、实施和解释都要留痕，避免只换标题、看短期点击或结果出来后改口径。
步骤 01
锁定一个业务问题
明确要改善的是信息理解、信任、候选进入、咨询还是购买，避免同时追多个目标。
01
步骤 02
预注册假设与指标
用“改变什么、解决什么阻力、影响什么主指标”的结构记录假设，同时指定护栏指标、分析人群和多重比较边界。
02
步骤 03
设计分配与样本计划
确定实验单位、随机分配方式、互斥关系、最小可检测差异、所需样本和固定观察窗口。
03
步骤 04
校验埋点与分流
先做小范围数据核对，再检查版本曝光、单位去重、指标回传和样本比例是否符合设计。
04
步骤 05
按计划运行并防污染
不因中途结果提前停止，记录同期活动、并行实验和跨版本传播，发现严重数据异常时按预案处理。
05
步骤 06
解释效应并沉淀结论
结合效应量、置信区间、护栏指标和内容反馈，记录支持、否定或证据不足，不只保留胜出版本。
06
洞察负责问「为什么值得测」，实验负责答「哪个版本更有效」。样本量、实验时长、显著性和业务提升都没有脱离基线、风险与决策成本的通用阈值。
值数内容实验原则
把一个内容争论做成一次能下结论的实验
带上一个还在靠经验争论的内容问题，先完成一张可执行的实验预注册单：实验单位、随机分配、主指标与护栏指标、最小可检测差异、样本计划、SRM 校验、污染防范、停止规则和多重比较边界全部在开跑前锁定。交付结论只分为支持、否定、证据不足或实验无效，不为“赢”而改口径。