解决方案

别把「AI 提到了我」误当成「AI 正在正确推荐我」

提及率、推荐率与准确率回答的是三个不同问题。先固定样本、分母和事实版本,再谈趋势;否则一张漂亮总分图只会掩盖真实缺口。

先划边界

监测对象是「一次完整回答」,不是一个品牌词

必须固定的采样条件

问题原文、问题类型、入口、时间、地区与语言、是否登录、会话上下文和可见的联网状态。入口不公开某项条件时,记录为「未知」,不要自行推断。

必须固定的判断基线

品牌与竞品名单、现行产品清单、关键事实版本、推荐的判定规则、并列与否定提及的处理方式。基线变更后应开启新版本,不能直接拼接旧趋势。

监测不是多问几次 AI,而是让同一结论在任何复盘会上都能回到同一批证据。

答案管理的可复核原则

从读数到动作

六种结果对应六种管理任务

未被发现

回查品类归属、问题覆盖和公开主体材料,不先归咎模型。

被提及但未推荐

检查适用场景、比较依据与推荐理由是否有可核对证据。

被推荐但事实错误

优先修正高影响事实源,并用同一问题复测。

入口间不一致

分入口保留差异,不用平均值抹掉问题。

引用无法追溯

结论标为来源未知,只推进可验证的公开材料修订。

短期异常波动

先复核入口、会话与样本条件,再决定是否升级为事件。

建立基线

四步得到第一份可比较读数

不追求一次覆盖所有问题,先让样本能复测、结论能下钻。

步骤 01

定义问题层

将问题分为品牌介绍、品类发现、场景推荐、竞品比较、事实核验与风险追问,避免不同意图共用一个分母。

01
步骤 02

冻结事实基线

由业务负责人确认现行主体、产品、参数、政策和时间边界,给每条事实标注来源与生效日期。

02
步骤 03

保留完整样本

保存问题、回答、采集条件和公开可见引用;不能访问或不提供引用的入口,只评价回答内容,不虚构来源。

03
步骤 04

复核后计算

先做人工抽检与争议标注,再按固定规则汇总。规则有变化时重算同一批样本,确保口径一致。

04
六栏监测样本卡

每一次完整回答,都用同一张六栏卡留证

一张卡对应一次完整回答;缺失信息写「未知」,不跨回答拼接字段,也不把汇总指标倒填成单条结论。

01 · 问题与意图

保存问题原文,并标记品牌介绍、品类发现、场景推荐、竞品比较、事实核验或风险追问。

02 · 入口与条件

记录入口、时间、地区、语言、登录与会话条件;入口未公开的状态写「未知」。

03 · 完整回答

保存整段回答和可见引用,不只摘取品牌名、排序或一句结论。

04 · 提及与推荐标注

分别标记是否提及、是否进入候选、是否明确推荐,以及否定、并列和顺带举例。

05 · 事实核验

逐条写明正确、错误、过时、冲突或无法判断;发现错误后进入系统化修复指南

06 · 证据与处置

连接事实版本、公开证据、复核人、责任角色、下一步动作和复测状态。

三个核心读数

分别回答「出现、入围、说对」

提及率

提到品牌的有效回答数 ÷ 有效回答总数。报告必须区分问题中已点名品牌与未点名品牌,否则指名问会抬高结果。

推荐率

品牌被明确纳入建议或候选清单的回答数 ÷ 具有推荐意图的有效回答数。中性介绍、顺带举例和否定推荐均不算。

事实准确率

核验为正确的品牌事实条目数 ÷ 已核验事实条目总数。分母是事实条目,不是回答数;存疑与无法核验应单列。

读数台长什么样

三个读数各带分母,结果直接分流到不同任务

同一张台面上,出现、入围、说对分别用匹配的分母计算;不同结果对应不同的管理动作,而不是汇成一个好看的总分。

左右滑动查看完整界面

提及、推荐与事实准确性分开呈现的答案表现看板
答案提及与推荐状态分层;演示·非真实客户数据。

左右滑动查看完整界面

回答字段、证据层、核验状态与复测动作逐行对应的证据矩阵
回答与引用证据核验;演示·非真实客户数据。

左右滑动查看完整界面

从冻结问题到人工签核的同口径复测时间线
答案修正与同口径复测;演示·非真实客户数据。

分母各不相同

提及看有效回答、推荐看有推荐意图的回答、准确看事实条目,混用分母就会互相污染。

结果即分流

同一个下降,「未被发现」和「被推荐但事实错误」对应的动作完全不同。

留样可复测

每个读数都能回到原始问题、条件与回答,异常先查采样再谈趋势。

不给行业均值

台面只呈现你自己的样本口径,不编造对标基准或推荐倍数。

读数纠偏

常见快照与可管理监测的区别

问题集
容易误导的做法
临时想到什么问什么
可复核的做法
按意图分层并保留版本
分母
容易误导的做法
所有回答混在一起
可复核的做法
每个指标使用匹配的有效样本
推荐判断
容易误导的做法
出现品牌名就算推荐
可复核的做法
要求有明确建议或候选关系
准确性
容易误导的做法
凭整体印象打分
可复核的做法
逐条事实对照已确认基线
波动
容易误导的做法
单次变化直接归因
可复核的做法
先查采样、入口与版本条件
证据
容易误导的做法
只留汇总图
可复核的做法
可回到原始问题与回答片段
趋势复盘

每次看趋势,先回答四个问题

任何一个问题无法回答,都先回到样本核查,不急着把变化解释成品牌表现上升或下降。

分母和问题结构变了吗

01

本期是否新增入口、问题类型或地区?如果变了,应分版本展示,不能直接接在旧折线上。

变化集中在哪里

02

下钻到问题类型、入口、事实字段和完整回答,判断是广泛变化还是少数样本造成。

标注规则保持一致吗

03

抽查推荐、否定提及和存疑事实的判定;管理汇报可沿用答案管理 KPI 口径卡

下一步由谁决定

04

把未被发现、未被推荐、事实错误和来源未知分别交给对应责任人,并写明复测条件。

项目接入边界

先书面确认能取得什么,再承诺监测什么

可直接纳入验收

双方确认的公开入口、约定账户条件、固定问题集、完整可见回答、入口展示的引用和人工复核记录;以实际可取得字段为准。

需要授权或技术验证

非公开搜索、内部知识库、历史会话、登录态差异、多模态内容和未展示来源。未经授权或验证的能力保持待确认,边界定义见什么是 AI 答案管理

读数出来之后,下一步是把推荐率系统抬上去

如何监测品牌在 AI 问答中的表现:提及率、推荐率与准确率 | Zhishu Matrix