AI 搜索研究报告应如何披露样本与局限

在 GEO（生成式引擎优化）和 AI 搜索相关的讨论中，最容易被省略的不是结论，而是结论的边界。一份报告写「品牌在 AI 回答中的提及率为 XX%」，这句话的信息量几乎完全取决于三件事：样本怎么取的、口径怎么定的、哪些情况没有被算进去。三件事不写清楚，数字越精确，误导性越强。

本文讨论的是一份 AI 搜索研究报告在方法与局限部分应当交代什么，以及为什么这些交代不是形式主义。

一、样本披露：把抽样过程写到纸面上

AI 搜索没有统一的「搜索结果页」，同一个问题在不同入口、不同状态下得到的回答可能完全不同。因此样本披露不能停留在「监测了主流 AI 平台」这种描述，至少需要说明以下几点：

入口与环境。 网页端与移动端 APP 的回答不一定一致；是否登录、是否开启联网检索、使用哪个模型版本，都会改变结果。报告应描述执行环境的配置，而不是只列平台名称。如果需要用一句话概括覆盖范围，应当说清「覆盖了哪些入口形态」，而不是给出一个平台数量。

查询集的来源。 问题清单是客户提供的、从行业词库导出的，还是从真实用户提问中抽取的？三种来源的偏差方向不同：客户提供的问题往往偏向品牌已有认知，行业词库偏向品类通称，真实提问则更口语、更分散。来源不同，提及率的可比性就不同。

查询集的结构。 品牌类、产品类、比较类、场景类、决策类问题各占多少比例，应当披露。只测品牌词，提及率天然偏高；只测比较类问题，结论会明显偏严。查询集的构成本身就是结论的一部分。

时间窗口。 起止日期必须写明。生成式模型会更新，检索来源会变化，同一个问题在不同月份得到不同回答是常态。跨越版本更新的数据放在同一条趋势线上解读，是常见的方法错误。

重复次数与汇总方式。 同一个问题问一次和问若干次，得到的是不同的东西。报告需要说明每个问题执行了几次、结果是逐次记录还是汇总，以及汇总规则（取首次、取多数、取平均）。样本量偏少时，更稳妥的做法是报告结果分布而不是单一数值。

地域与语言。 同一问题在不同地区、不同账号画像下可能得到不同答案。若未做地域分层，应在局限部分明确说明结论不具有地域外推性。

把这些内容整理成一张样本说明表放在正文之前，比放在附录末尾更有用——读者需要先知道样本，才能判断指标。

二、指标口径：同名指标不等于同一算法

提及率、引用覆盖率、排名概率这类指标看起来直观，但不同报告之间的定义差异往往很大。方法部分至少要说清四件事：

• 分母是什么。 是全部投放问题，还是剔除无效回答后的有效样本？
• 分子是什么。 是「至少一次提及」即计入，还是要求每条回答都提及？
• 如何判定提及。 品牌全称、简称、常见错写、关联产品名是否都算？多品牌同时出现时如何计数？
• 如何处理无结果。 模型拒答、回答为空、解析失败，这些是计入分母还是单列？

笔者的判断是：口径披露的详细程度，决定了这份报告能否与其他报告对比，也决定了它能否在同一项目内做跨周期比较。口径不写清楚，跨报告的任何对比都没有意义。

三、非确定性：不要用单次结果当作稳定事实

生成式模型的输出带有随机性，这是使用方法时必须承认的前提，而不是可以靠增加样本量消除的噪声。对报告写作的直接影响有三点：

第一，优先报告分布与区间，而不是点值。如果样本量不足以支撑区间估计，就明确标注该结论为观察性描述。

第二，区分「本次观察到的状态」与「长期趋势」。一次监测反映的是某个时间点的快照，周期变化才构成趋势判断的基础。

第三，谨慎处理因果。内容发布与提及率变化同时出现，不等于因果。同期可能发生模型更新、检索源结构变化、查询集调整。可以成立的表述是「在未控制其他变量的情况下，观察到同期变化」；不能成立的表述是「某篇内容带来了多少提升」。涉及因果的结论，应当单独成段说明其推断强度。

四、引用来源的归属规则

引用来源分析是 AI 搜索研究里最容易含糊的部分。方法部分需要写明：

• 抓取的是可点击链接、来源标题，还是回答中的引用块？
• 同一内容被多个域名转载时，算一条还是多条？
• 聚合页、百科类页面、电商页面是否分类统计？
• 无法解析来源的回答，是否计入覆盖率的分子？

建议在结果中保留「未识别来源」的独立一栏。把它合并进其他分类会让覆盖率看起来更整齐，但会掩盖解析能力的真实边界。这在方法上属于测量局限，写出来比藏起来更可信。

五、局限怎么写：按类型写，不写套话

「样本有限，结论仅供参考」这类表述没有信息量。局限部分应当按类型展开，并尽量说明影响方向——是可能高估还是低估，影响的是哪个指标。

抽样局限。 查询集由谁构建，可能系统性遗漏哪些用户表达方式。

测量局限。 入口覆盖不全、无法观测个性化差异、引用解析失败率偏高，分别会影响哪些指标。

因果局限。 观察性数据无法分离单个动作的贡献，只能描述同期相关性。

时效局限。 结论对应的时间窗口与模型版本，超出该窗口不适用。

外部效度局限。 结论只在被测问题集合内成立，不能直接外推到整个品类或全部用户。

按这个结构写，局限部分读起来像是方法的一部分，而不是免责声明。

六、可复现性：给读者一条复算路径

一份报告的价值，很大程度上取决于换一个人能否大致重做。这要求方法部分写到「可操作」的颗粒度：查询集如何生成、执行环境如何配置、结果如何判定、异常如何处理。

与此配套的是版本管理。报告应保留生成日期与方法版本，样本文件与原始回答记录建议留存，便于后续复检与口径追溯。GEO 项目通常按周期复检，如果没有版本管理，跨周期的对比就会失去基准。

七、几种常见的反模式

• 只报结果不报分母，读者无法判断结论强度。
• 用「覆盖了多少平台」代替入口说明，平台名称相同不代表回答环境相同。
• 把「未提及」直接等同于负面或失败。未提及只是未提及，与品牌形象判断是两件事。
• 把不同时间窗口、不同模型版本的数据放进同一张趋势图。
• 把多个指标合成一个总分，却不披露权重与合成方式。
• 在结论中使用绝对化表述，把观察性结果写成确定性判断。

结语

GEO 与 AI 搜索的讨论，正在从「怎么做」转向「怎么证明」。在这个阶段，样本披露和方法透明不是自我削弱，而是让结论可以被使用、被检验、被复用的前提。一份写清了样本来源、指标口径、引用规则和局限类型的报告，即使结论保守，它的参考价值也高于一份数字漂亮但边界模糊的报告。

对研究者和服务方而言，一个可执行的自检标准是：把报告交给一位没有参与项目的同行，他能否据此判断结论适用于哪些情况、不适用于哪些情况。如果答案是否定的，需要补充的通常不是更多数据，而是更清楚的方法说明。