如何设计 GEO 复测问题集并记录样本边界
做 GEO 监测,单次提问得到一个答案,参考价值有限。同一个问题换个说法、换一天、换个入口,回答可能就不一样。真正能看出趋势的,是在条件可控的前提下,同一批问题在不同时间点重复提问,观察变化。而复测能不能成立,取决于两件事有没有提前定好:问什么,以及在什么条件下问。 问题集锁定前者,样本边界锁定后者。两者缺一,复测出来的差异就无法解释。 复测的理想状态,是让
做 GEO 监测,单次提问得到一个答案,参考价值有限。同一个问题换个说法、换一天、换个入口,回答可能就不一样。真正能看出趋势的,是在条件可控的前提下,同一批问题在不同时间点重复提问,观察变化。而复测能不能成立,取决于两件事有没有提前定好:问什么,以及在什么条件下问。
问题集锁定前者,样本边界锁定后者。两者缺一,复测出来的差异就无法解释。
先明确复测的目的:让两轮之间只变“时间”
复测的理想状态,是让两次测量之间只有时间这一个变量在变。如果第一轮问的是一种措辞,第二轮换成了另一种,或者第一轮带城市限定、第二轮去掉了,那么两轮之间的差异既可能来自内容建设,也可能来自提问方式本身,无法区分。
所以问题集设计和样本边界记录,本质是同一件事的两面。设计阶段定下来的每一条规则,都是为了后面复盘时能把差异缩小到可解释的范围。
问题集按四层组织
把问题按用途分层,比堆在一起更好用。
锚点问题:品牌名加核心业务,措辞最中性。这一类长期冻结,用来观察最基础的存在感有没有变化。
场景问题:用户真实任务下的提问,例如遇到某种情况该怎么处理、该选什么。它反映的是品牌能不能进入用户的决策路径。
比较问题:把品牌放进一组候选项里问,观察相对位置和比较语境下的描述。
边界问题:加上城市、门店、规格、资质等限定条件,用来观察信息覆盖的边界,以及哪些限定条件下容易出错或缺失。
四类问题的数量不必均衡,但每一条都要在文档里标明属于哪一层。否则复盘时只能整体看,看不出是基础存在感变了,还是场景覆盖变了。
单条问题怎么写
- 用用户会说的话,不要写成关键词的拼接。
- 一条问题只承载一个意图。把两件事塞进一句话,回答里两件事的回答质量会互相干扰。
- 避免把答案写进问题。带评价倾向的提问会引导回答,除非这正是你要测的——那就单独标为“引导型”,不与中性问题合并统计。
- 保留原始措辞,不要做同义替换。替换过的措辞就是另一个样本,不能拿来和原句比较。
- 每条问题分配一个稳定 ID。ID 是跨轮对齐的锚,措辞可以保留,ID 不能乱。
版本管理:冻结、增补、退役
主问题集确定后冻结,给一个版本号。跨轮对比只在同一版本的主集合内成立。
中途想加问题,放进增补组,单独编号、单独统计。增补组的问题从加入的那一轮开始建立自己的基线,不参与之前轮次的计算。
不再适用的问题标记为退役,不要删除。退役时间点记录清楚,历史数据保留,这样回看时才不会出现“某条问题前几轮有、后面凭空消失”的断档。
任何措辞上的修改,都视为新建一条问题,而不是修改原问题。
样本边界要记哪些维度
这些字段不记录,两轮结果的差异就无从解释。至少要覆盖以下内容。
| 维度 | 记录要点 |
|---|---|
| 平台与入口 | 具体平台、网页端还是移动应用端,入口位置 |
| 模型或版本标识 | 界面上可见的版本信息,不可见则记为不可见 |
| 观测时间 | 日期,必要时记录时段 |
| 观测地域 | 网络出口所在地或平台显示的地区 |
| 账号状态 | 是否登录、是否有历史会话、个性化因素能否关闭 |
| 会话模式 | 新会话单次提问,还是连续追问 |
| 提问原文 | 与问题 ID 一起记录,不用转述 |
| 采样轮次 | 同一条件下重复提问的第几次 |
| 引用来源 | 是否展示来源、来源出现在什么位置 |
| 存档 | 截图或存档链接,便于回溯 |
其中有些维度可能无法控制,比如账号个性化无法完全关闭,或者版本标识不对外显示。这种情况下如实记录并在结论里声明,比假设它不存在要好。
记录表怎么搭
建议用两张表,而不是一张大表。
问题集主表:问题 ID、所属层级、提问原文、加入版本、状态(启用或退役)、备注。
采样记录表:记录 ID、问题 ID、平台、入口、观测时间、地域、账号状态、会话模式、采样轮次、是否展示引用来源、回答要点、存档位置。
第二张表以问题 ID 为行、时间为列做透视,就能得到某条问题的跨轮变化。两表分开的关键原因是:问题定义会被反复调整,而历史采样记录不能被这种调整“追溯改写”。如果问题描述和每次采样混在同一张表里,改一次措辞,历史记录的含义就变了。
什么能写进结论,什么不能
能写的是样本范围内的事实:在本次采样的某个平台、某个入口、某段时间内,某条问题的多轮回答中,品牌被提及的情况、描述方式、引用来源中的域名,出现了怎样的变化。
不能写的是把这种变化直接归因到某一篇文章或某一次发布。两轮之间往往同时发生了内容发布、平台侧调整、时间推移、样本量变化等多件事,单点归因站不住。
如果确实想观察内容发布与表现的关系,更稳妥的做法是:发布前留一段稳定的观测窗口,发布后按固定间隔重复同一组问题,把发布作为一个时间标记叠加在趋势线上,而不是当作因果开关。
另外要留意样本完整度。某一轮里如果有若干条问题因为入口改版、超时或异常没采到,这一轮的分母就变了。跨轮比较之前,先把缺失补齐,或者在结论里明确标注缺失情况,说明这一轮是部分样本。
一份最小可执行清单
- 确定四层结构,写出每条问题的原文,冻结为 v1。
- 每条问题分配稳定 ID,标明层级和加入版本。
- 把采样条件写进文档:平台、入口、会话模式、重复次数、观测地域。
- 每轮采样完整填写边界字段,包括无法控制的那些维度。
- 结论只在样本范围内表述,必要时给出区间和缺失说明。
- 增补问题单独成组,不追溯历史轮次。
- 退役问题保留记录,不删除。
复测的价值不在于问得多,而在于每一轮都在同样的条件下问同样的问题,并且把条件写清楚。问题集管住“问什么”,样本边界管住“在什么条件下问”。这两件事做到位,几轮数据放在一起才可能讲出一个站得住的结论。
(本文为方法说明,不针对任何特定平台的具体版本。平台入口、模型标识和引用展示方式变化较快,执行时以观测当日的实际界面为准。)
数言AI申请 GEO 诊断