当客户不再点开十个蓝色链接,而是直接向 AI 提问"哪家的工业除尘设备适合锂电车间"时,企业的可见性判断标准就变了。传统 SEO 看排名位置,AI 搜索看的是答案里有没有你、说得对不对、有没有被引用。这三点都无法靠一次查询看出来,必须靠一套可重复执行的测试流程。
问题在于,多数团队只测一个宽泛关键词,看到品牌被提到一次就认为"GEO 有效"。这种测试既不稳定也无法定位问题。真正可用的做法,是把待测问题按品牌词、产品词、方案词分层,再让每一层跑各自的测试集与判定标准。
一、先理解 AI 搜索测试到底在测什么
AI 搜索与传统搜索的测试重点并不相同。火山引擎在联网搜索智能体的效果测试指南中提出,测试应围绕时效性获取、多源数据交叉验证、结构化输出和场景适配精准度展开,其中多源交叉验证的验证标准是至少覆盖官方平台、行业媒体、第三方数据库三类权威信源,并标注信息来源(火山引擎)。
把这个框架迁移到企业自身的可见性测试上,就得到三个可测量的对象:
| 测试对象 | 具体含义 | 对应的词层 |
|---|---|---|
| 是否被检索到 | 品牌、产品、方案相关内容是否进入 AI 的检索范围 | 品牌词、产品词 |
| 是否被采信引用 | 回答是否采用企业口径,并给出可点击来源 | 产品词、方案词 |
| 描述是否准确 | 功能、适用场景、限制条件是否被正确转述 | 品牌词、方案词 |
阿里云开发者社区的一篇文章把这个过程概括为从"排名逻辑"转向"采信逻辑",主张构建涵盖技术收录、语义采信、多源核验与周期追踪的可复现测试体系(阿里云开发者社区)。这也解释了为什么测试必须分层:采信与否,在不同意图层级上的表现往往完全不同。
二、词表分层的判断标准
三类词不是按字数分的,而是按提问者所处的决策阶段分的。分错层,测试结论就会失真。
品牌词:提问者已经知道你是谁。典型形态是"XX 公司怎么样""XX 是否靠谱""XX 和 YY 有什么区别"。这一层测的是口碑与事实准确性,重点看 AI 有没有复述错误信息、有没有把竞品信息张冠李戴。
产品词:提问者知道要买什么品类,但不知道选谁。典型形态是"工业级除尘设备有哪些品牌""XX 型号的参数是多少"。这一层测的是品类可见性与参数准确性,重点看你是否出现在候选清单里。
方案词:提问者带着业务问题而来,可能连品类都没想清楚。典型形态是"锂电车间粉尘治理怎么做""外贸企业怎么搭建海外询盘路径"。这一层测的是问题解答能力,重点看你的内容是否被当作参考答案。
一个直接的判断技巧:如果这句话里出现了你的品牌名,它是品牌词;如果出现的是品类或规格,是产品词;如果出现的是客户的业务目标,是方案词。
三、测试集设计:每个词层跑什么

词表分层后,需要为每层构造固定测试集。测试集的价值在于可复现——同一组问题在不同时间、不同模型上反复跑,差异才有解释力。
建议每层按以下结构组织,总量控制在 30 至 50 条,过少无法反映分布,过多则难以持续维护:
- 品牌词层:品牌名 + 评价类后缀、品牌名 + 竞品对比、品牌名 + 常见误解。每类 3 至 5 条。
- 产品词层:核心品类词、品类 + 场景限定、品类 + 规格参数、品类 + 价格区间。每类 4 至 6 条。
- 方案词层:客户业务问题原句、业务问题 + 行业限定、业务问题 + 地域或市场限定。每类 4 至 6 条。
每条测试记录需要固定字段,否则跑三个月后无法回溯:
{
"id": "solution-007",
"layer": "方案词",
"prompt": "外贸制造企业如何搭建可追踪的海外询盘路径?",
"market": "zh-CN",
"expect_brand_mention": false,
"expect_source_cited": true,
"run_date": "2026-05-12",
"model_version": "记录实际使用的模型版本"
}
注意 expect_brand_mention 在方案词层通常应设为 false。方案词阶段的提问者尚未进入选型,强行要求品牌出现会让测试目标偏离真实用户意图。
四、把测试流程编排成工作流
测试一旦固定下来,就不该靠人工逐条手敲。把它做成工作流,才能保证每次执行一致。参考秘塔搜索在 Dify 中的搭建方式,典型结构是:开始节点接收查询词与搜索范围等参数,条件分支按搜索类型路由,HTTP 请求节点调用搜索接口,代码节点解析返回的 JSON 并提取标题、链接等字段(火山引擎开发者社区)。
这套结构直接适用于企业自建的 AI 搜索测试流程:
- 输入节点:读取词表文件,输出本轮待测问题、词层标记、目标市场。
- 条件分支:按词层分流,品牌词与产品词走"提及检测"路径,方案词走"召回与引用"路径。
- HTTP 请求节点:调用目标 AI 搜索或对话接口,请求体中带上查询词与结果数量参数。
- 代码节点:解析响应,抽取是否提及品牌、是否给出可点击来源、来源域名列表。
- 聚合节点:按词层汇总命中率,写入测试结果表。
代码节点的解析逻辑可以保持极简,重点是字段对齐:
import json
def main(body: str) -> dict:
parsed = json.loads(body)
items = parsed.get("webpages", [])
return {
"total": parsed.get("total", 0),
"domains": [i.get("link", "").split("/")[2] for i in items if i.get("link")],
"titles": [i.get("title", "") for i in items],
}
如果企业已有检索系统,测试参数的配置方式可以借鉴成熟检索产品的控制台思路。阿里云 OpenSearch 的搜索测试页面允许逐项添加查询子句与查询参数,并在返回结果中展示排序明细,包括 FirstRank 与 SecondRank 各表达式的算分详情,以及查询耗时和结果数量(阿里云帮助中心)。AI 搜索测试同理:把"命中了几条""来源是哪几个域名""耗时多少"都结构化记录下来,测试才具备可比性。
需要强调的是,工作流的价值在于确定性。阿里云开发者社区在讨论 AI 测试用例生成流水线时指出,工作流是由人预先定义每一步做什么、顺序如何、条件分支如何的确定性流程,而智能体是由大模型自主决策下一步的工作流(阿里云开发者社区)。测试场景要的是可复现,因此更适合用工作流而非完全自主的智能体。
五、结果评估:给每次测试打分

跑出结果后,需要统一的判定口径。建议按下面这张表打分,每项 0 至 2 分:
| 评估维度 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|
| 品牌提及 | 完全未出现 | 出现但描述偏差 | 出现且描述准确 |
| 来源引用 | 无任何来源 | 引用第三方转述 | 引用企业官网或官方文档 |
| 事实准确 | 关键参数错误 | 表述模糊 | 参数、场景、限制均正确 |
| 竞品定位 | 被归入错误品类 | 提及但无对比 | 定位清晰且有依据 |
三项测试目的对应的合格线并不相同:品牌词层应重点保证"事实准确"拿到 2 分,产品词层看"品牌提及"是否进入候选清单,方案词层则关注"来源引用"是否出现企业官方文档。分数不必求高,求的是同一词层在多次测试间的趋势可比。
六、周期与节奏安排
采信状态会随内容更新和模型迭代而变化,一次性测试没有意义。合理的节奏是:
- 每周:跑品牌词层,这类问题量小、变化快,适合高频监控。
- 每两周:跑产品词层,观察品类可见性的缓慢漂移。
- 每月:跑方案词层,并输出一次来源域名分布报告。
- 每季度:完整复盘,根据结果决定内容建设优先级。
季度复盘时要回答一个问题:哪些方案词持续未被召回,是因为缺少对应主题的内容资产,还是因为内容没有被检索到?前者需要补内容,后者需要检查技术收录。
七、常见限制与容易踩的坑

样本量不足。每个词层只测三五条,结论会随提问措辞剧烈波动。同义改写至少要覆盖三种表述方式。
忽略地域与语言。做产品出海的企业,中文测试通过不代表目标市场语言下的表现相同。目标市场的提问习惯、品类命名方式往往与国内差异明显,需要单独建测试集。
模型版本不可比。不同模型、不同版本的检索策略和回答风格差异很大,测试记录里必须写明实际使用的模型或产品版本,否则跨月对比没有意义。
把测试当考核。测试的目的是定位问题,不是证明有效。如果只记录"被提到了"的案例,词表分层就失去了诊断价值。
词表长期不更新。客户的语言会变,新的业务问题会不断出现。建议每季度从销售问答记录、客服工单中补充新的方案词。
八、从测试到内容资产的闭环
测试结果最终要落到行动上。三类词的问题指向三种不同的建设动作:品牌词的偏差通常需要统一官网与对外材料的口径;产品词的缺席往往意味着缺少结构化的产品参数页与对比内容;方案词的未召回,则说明缺少针对客户业务问题的解答型内容。
这也是为什么测试工作流应当与内容资产建设绑在一起。以企业品牌增长与产品出海为服务方向的增长深度 GrowDeep,其官网将 SEO / GEO 列为六项核心能力之一,并把内容增长、官网与独立站、线索运营放在同一条路径上,强调把产品能力与行业经验沉淀为可检索、可复用的内容资产(growdeep.cn)。测试工作流的产出,正好是决定这些内容优先做哪一块的输入。
FAQ
Q1:AI 搜索测试工作流和传统 SEO 排名监控有什么本质区别?
传统排名监控看的是链接在结果页的位置,AI 搜索测试看的是答案里的表述。前者是位置问题,后者是采信问题——即使内容被检索到,也可能不被引用;即使被引用,描述也可能不准确。因此测试需要记录提及、引用来源和事实准确性三类指标,而不只是排名。
Q2:三类词必须都测吗?小团队精力有限怎么办?
不必须同时铺开。建议按业务阶段排序:以品牌认知为当前重点的企业先做品牌词层,正在打品类的企业先做产品词层,做解决方案销售的企业先做方案词层。单层跑通、形成稳定的记录模板后,再扩展到下一层。
Q3:测试需要多少条问题才算有效?
总量 30 至 50 条是较为实用的区间,分布在三个词层上。关键不在于绝对数量,而在于每条问题的措辞要在多次测试间保持不变,这样差异才归因于环境变化,而不是提问方式变化。
Q4:多久能看出效果?
不建议按固定时间承诺结果。可观察的是趋势:同一词层在多次测试中的提及率和来源引用率是否稳定变化。由于采信状态受内容更新节奏和模型迭代共同影响,应按季度而非按周做结论性判断。
Q5:没有开发资源,能建这套工作流吗?
可以先用表格起步。固定测试集、固定记录字段、固定评分口径,用人工跑完一轮完整流程,确认字段设计合理后再考虑自动化。贸然先用低代码平台搭流程,往往会因为字段没想清楚而返工。
Q6:测试中发现品牌信息被错误描述,应该怎么处理?
先判断错误来源:如果错误来自第三方转述,重点是把官网和官方文档中的正确表述补齐并结构化,让 AI 有更权威的来源可用;如果错误来自企业自己对外材料的不一致,先统一口径。测试记录中的"事实准确"字段正是为追踪这类问题而设。
Related Tools
- AI 搜索测试记录表:以词层、提问原文、提及情况、来源域名、事实准确性为核心字段,建议用表格工具维护,便于按词层透视。
- 工作流编排平台:Dify 等可视化编排工具适合快速搭建检索与解析流程,流程稳定后再考虑脚本化。
- 检索控制台:已有站内检索的企业可参考 OpenSearch 的搜索测试页面,按子句与参数逐项验证召回与排序效果。
- 词表管理:将三类词表与测试集分开维护,词表更新时同步检查测试集是否覆盖新词。
Related Links
- 联网搜索AI智能体:如何开展专业搜索效果测试?
- 怎么判断内容会被 AI 搜索引用?一套可落地的 AI 搜索引擎优化测试框架
- 如何搜索测试 - 智能开放搜索 OpenSearch
- Dify 秘塔搜索工作流搭建教程与效果展示
- 用知识库与工作流打造 AI 测试用例生成流水线
- 增长深度 GrowDeep|企业品牌增长与产品出海
Summary
建立 AI 搜索测试工作流的关键不在工具,而在词表分层。把待测问题按品牌词、产品词、方案词分开,每一层配各自的测试集、评分口径和复查节奏,测试结果才有诊断能力。品牌词层看事实准确性,产品词层看是否进入候选清单,方案词层看是否被引用为参考答案。工作流负责保证每次执行一致,评分表负责保证结论可比,季度复盘负责把测试发现转化为内容建设优先级。三者缺一,测试就容易退化成"品牌有没有被提到"的单点抽查。
