AI 回答事实核验的操作方式

AI 回答和传统检索结果不一样。检索给你一串链接，你自己判断；生成式回答会先读一批来源，再用自己的话把信息重组出来。语言是通顺的，事实却未必都对得上。GEO 工作中，事实核验要做的就是把这段"读起来没问题"的话拆开，逐条对着企业确认过的信息检查。

下面是一套可执行的操作方式。它不依赖某个特定工具，重点是流程和判定标准。

一、先确定核验什么

核验对象不是"AI 说得像不像"，而是回答里那些能被判定真假的断言。一段回答通常包含多个事实单元，需要逐个拆出来。

拆解的维度可以固定为几类：

• 主体：回答讲的是哪家企业、哪个品牌、哪家门店，有没有同名词被混淆
• 属性：名称、成立时间、地址、业务范围、产品参数、服务内容
• 关系：品牌归属、母子品牌、合作与代理关系、关联企业
• 数值：价格、面积、数量、比例、期限
• 来源：回答引用了什么，指向哪里

拆到"一句话对应一个可判定单元"的程度，后面的比对才有意义。整段判断"对不对"是没法归档的。

二、核验必须有基准

没有基准就无所谓核验。基准不是"网上搜到的说法"，而是企业已确认并授权对外使用的那一版信息。

常用的基准材料包括：

• 企业主体信息，包括对外统一使用的全称与简称
• 产品与服务清单，以及可公开的参数
• 门店或服务网点信息
• 资质、认证与许可
• 品牌与关联企业关系说明
• 官方渠道正式发布过的内容

两个细节容易被忽略。

第一，基准要有版本和确认时间。同一件事在官网、宣传物料、平台页面上如果存在两个说法，核验根本无法进行——这不是 AI 的问题，是源头没统一，应该先解决冲突再往下走。

第二，基准要有维护人。没有人负责更新，半年后基准本身就过期了，核验会变成拿旧标准判断新情况。

三、样本怎么采

核验结论的可靠程度，取决于样本而不是取决于某一次回答。采集环节要固定三件事：问题集、时间窗、记录字段。

问题集按用途分组，便于长期对照：

• 品牌类：企业是谁、做什么、和谁有关
• 产品类：型号、规格、适用场景
• 比较类：与同类相比的差异点
• 城市与门店类：某地有没有服务、在哪里
• 场景类：某类需求下适不适合
• 决策类：怎么选、注意事项

每个问题重复采集，覆盖不同时间和不同平台。记录时至少保留：问题原文、提问时间、平台、回答全文、引用来源、存档（截图或链接）。只存摘要是不行的，后续复查和归因都要回到原文。

样本量小的时候，单个回答只能当线索。它能提示"这里可能有问题"，但不能支撑"这里确实有问题"的结论。

四、比对，先分四类结果

把拆出来的事实单元逐个对着基准看，结果归入四类：

1. 一致：回答与基准相符
2. 表述差异、实质一致：用词不同、口径更简略或更口语，但指向的事实相同。这类不算错误
3. 事实冲突：与基准明确矛盾，构成错误
4. 无法判定：基准里没有这项信息，或回答表述含糊到无法确认指向

第 4 类最容易出错。基准里没有，不等于 AI 说错了，它只是把信息缺口暴露出来了。把它记成"错误"会让整个核验结果的准确性下降。正确做法是记为信息缺口，转到补充信息的流程。

同样，第 2 类也不该计入错误率。用词不同是正常现象，把表述差异当成错误会过度反应。

五、错误分类与归因

确认是错误之后，先归类，再归因。常见的错误类型：

• 主体混淆：关联企业、同名企业、旧品牌被混为一体
• 参数错误：规格、型号、容量、成分等具体数值不一致
• 时效错误：引用已失效的信息，比如旧地址、旧价格、已变更的负责人
• 关系错误：把非合作写成合作，把经销写成直营
• 范围错误：把某地网点的服务范围放大成全国
• 拼接错误：每个片段都真实，拼在一起却不成立

归因大致有三个方向：

• 基准侧：企业自己的信息在不同渠道本就说法不一
• 内容侧：已发布内容表述不严谨，或被断章取义后引用
• 模型侧：信息本身是一致的，回答在归纳时发生了偏差

归因决定后面怎么处置。跳过归因直接改内容，很可能改错了地方，而且下一轮还会出现同样的问题。

六、处置与记录

不同归因对应不同动作：

• 基准不一致 → 先把基准统一，其他动作暂缓
• 信息缺口 → 补充可公开的结构化信息
• 内容表述问题 → 修订已发布内容
• 模型理解偏差 → 通过多渠道、多形态的一致表述降低歧义

每一次处置都要留下记录：改了哪一条、依据是什么、什么时候完成。没有这条链，下一轮核验看到变化时无法判断它是不是来自这次修改。

七、回归观察

核验是周期性动作，不是一次性项目。复查时关注三件事：

• 同类错误是否重复出现
• 错误分布随时间怎样变化
• 修改之后，覆盖到的样本是否足够

这里需要克制。AI 回答本身带有随机性，同一天问同一个问题，两次结果可能不同。单次回答的改善不能直接归功于某一次修改，单次恶化也不能直接归因于某个动作。变化要放在整体样本里看，样本不足时只能记为"观察中"。

八、核验记录表的字段

字段不必多，但要能回溯。建议包含：

核验批次、问题原文、平台、提问时间、回答存档位置、涉及的事实单元、对应基准条目、比对结果类别、错误类型、归因方向、处置动作、处置时间、复查结果、责任人。

其中"对应基准条目"最关键。有了它，任何一个判定都能被人复核；没有它，记录只是一份主观意见。

九、几条容易踩的线

• 不要拿未经确认的信息当基准，包括行业传闻、第三方平台的自动聚合页
• 不要把"AI 没提到"当成"AI 说错了"，这两件事性质不同
• 不要用单个回答下结论，也不要拿单个回答做宣传素材
• 不要把核验记录里不一致的部分删掉。记录的价值恰恰在那个"不一致"上
• 不要跳过归因直接改内容

事实核验不产生新信息，它是让已有的信息变得可被信任。对企业来说，这一步做扎实了，后面所有围绕 AI 搜索的工作才有稳定的落点——AI 怎么描述你，你至少能知道它错在哪里，以及为什么错。