实验身份
实验编号、负责人、审批人、开始日期、计划观察窗与关联策略任务。
解决方案
推荐率变了，不等于你的动作有效：先冻结实验合同
题目、入口、有效样本规则、推荐判定或观察窗只要同时变化，前后结果就不可比。每轮只验证一个假设，并在执行前写清继续、停止、重做或无法判断的条件。
指标口径
六种相似数字使用不同分母
指标
分子
固定分母
提及率
分子
回答中出现品牌
固定分母
全部有效问题样本
候选入围率
分子
进入可选品牌集合
固定分母
该品类或场景的有效样本
明确推荐率
分子
出现明确建议或首选措辞
固定分母
具备推荐意图的有效样本
理由准确率
分子
推荐理由经事实核对成立
固定分母
出现推荐理由的样本
限制完整率
分子
关键前提与例外没有被省略
固定分母
需要披露限制的推荐样本
净可用推荐率
分子
推荐明确且理由正确、限制完整
固定分母
具备推荐意图的有效样本
策略页决定做什么；实验登记卡决定怎样证明这项动作在可比条件下值得进入下一轮。
推荐策略与实验验收的分工
可直接带走
推荐诊断实验登记卡｜八组字段
实验开始前一次写完；执行后不回头修改分母、假设和验收门槛来迎合结果。
冻结分母
题目集版本、推荐意图范围、有效/无效规则、入口、地区、语言与样本数。
单一假设
一个可被证伪的“如果—那么”陈述，以及能够推翻它的观察结果。
单项改动
只记录与假设直接相关的页面、事实字段、版本、发布人与发布时间。
实验组
纳入哪些问题、预期改变候选还是理由、保持哪些条件不变。
对照组
未修改题、相邻场景或旧版本；没有可用对照时写明证据限制。
干扰登记
入口变化、题目失效、产品事件、其他发布、异常样本与观察窗偏差。
预设决定
满足什么条件继续、停止、重做或标记无法判断，以及谁签字。
执行协议
登记卡批准后，按五步运行且不改口径
推荐方向、事实修订和统计验收由不同页面负责，本页只维护实验可比性。
对照设计
实验组验证假设，对照组发现自然波动
实验组
只纳入与本轮假设直接相关的问题和材料改动，记录发布时间、版本与预期变化。
对照组
保留相邻但未改的问题或旧版本。对照也同步变化时，不把结果全部归功于本轮动作。
干扰项登记
三类变化会让“前后提升”失去解释力
测量条件变化
题目、入口、地区、语言、推荐判定或无效样本规则发生变化。应拆分结果或直接标记不可比。
外部事件变化
新品发布、价格调整、危机事件、竞品动作或入口版本变化与实验重叠。登记时间线，不把波动全归给本轮动作。
并行动作变化
多个页面或事实字段同时修改，无法识别哪个动作对应结果。证据链应回到AI 错误答案事实源台账核对版本。
预设验收
结果出来前，先写好四种决定
观察结果
实验结论
下一步决定
实验组按预期变化，对照稳定
实验结论
假设获得有限支持
下一步决定
进入下一轮，但保留适用范围
实验组无变化，对照稳定
实验结论
当前动作未获支持
下一步决定
停止或改写假设，不美化结果
实验组反向变化或新增误导
实验结论
风险高于预期
下一步决定
停止并回退相关动作，升级复核
实验组与对照同步变化
实验结论
无法归因于本轮动作
下一步决定
登记干扰，重设观察窗或对照
有效样本不足或条件不可比
实验结论
无法判断
下一步决定
不输出提升结论，补样或重做