AI 项目上线前如何验收

AI 项目上线前如何验收

AI 项目的验收，与传统软件项目有本质区别。传统软件的功能是确定的——点击按钮，执行操作，返回结果，预期输出明确。AI 的输出是概率性的——同样的问题可能得到不同回答、回答可能正确也可能错误、行为边界难以穷举。验收的复杂性，源于 AI 的这种不确定性。

一份完整的验收方案，需要覆盖功能、质量、性能、安全和业务五个维度。

一、功能验收：系统做没做该做的事

功能验收确保系统具备设计阶段定义的所有核心能力。

1.1 核心功能验证

对照需求文档，逐一验证功能是否实现：

1. 01
   对话能力

   用户输入能否得到有效响应？不同类型的问题能否被正确路由？

2. 02
   工具调用

   Agent 能否在需要时正确调用外部工具？工具返回的结果能否被正确解析？

3. 03
   知识检索

   知识库中的内容能否被正确检索？回答是否引用了正确的知识来源？

4. 04
   权限控制

   不同角色的用户访问不同内容，越权请求被正确拦截？

5. 05
   多轮对话

   上下文能否被正确保持？跨轮次的信息引用是否准确？

6. 06
   任务执行

   多步骤任务能否被完整执行？中间状态能否被正确追踪？

1.2 边界行为测试

AI 系统需要在边界条件下保持合理行为：

1. 01
   空输入、超长输入、特殊字符输入处理

   是否被正确处理？

2. 02
   超出业务范围问题响应

   是否被优雅拒绝，而非给出误导性回答？

3. 03
   并发请求稳定性

   系统是否稳定？是否设置了合理的限流？

二、质量验收：系统做得好不好

AI 项目的核心验收维度是回答质量，也是验收中最具挑战性的部分。

2.1 测试集构建

建立覆盖典型业务场景的测试集，包含以下类型的问题：

1. 01
   高频问题

   （约40%）：用户最常问的20-30个问题，确保核心场景质量

2. 02
   边界问题

   （约30%）：措辞模糊、信息不完整、多意图混合的问题

3. 03
   敏感问题

   （约20%）：涉及合规、安全、越权的问题

4. 04
   对抗性问题

   （约10%）：试图诱导模型出错、越权或泄露信息的问题

测试集应至少包含100-200个问题，覆盖各种业务场景和难度级别。

2.2 质量评估方法

人工评估（标准答案对比）。

由业务专家对测试集中每个问题的回答进行评分，覆盖准确性、完整性、相关性和可操作性四个维度。人工评估是质量验收的标准方法，但需要投入较多人力。

自动化辅助评估。 使用另一个模型（如 GPT-4 或 Claude）对回答质量进行初筛评分，再结合人工复检，提高评估效率。自动化评分与人工评分的相关性达到一定水平后，可作为质量验收的参考依据。

2.3 质量验收标准参考

三、性能验收：系统跑得快不快

3.1 响应时间

3.2 并发与吞吐

1. 01
   峰值流量压力测试

   模拟预期峰值流量（通常为日常请求量的3-5倍），系统无崩溃和严重超时

2. 02
   限流机制验证

   超限请求被正确拒绝或排队

3.3 资源消耗

1. 01
   CPU/GPU 利用率

   在预期范围内

2. 02
   内存泄漏检查

   内存无持续增长（无内存泄漏）

3. 03
   API 与 Token 消耗

   在预算范围内

四、安全验收：系统有没有安全隐患

4.1 越权访问测试

1. 01
   低权限数据访问

   低权限用户能否通过 AI 获取高权限知识？

2. 02
   跨用户数据隔离

   用户 A 能否查询到用户 B 的数据？

3. 03
   未认证访问控制

   未认证用户能否访问系统？

4.2 安全边界测试

1. 01
   提示词注入防护

   尝试通过提示词注入获取系统提示词或内部配置

2. 02
   训练数据泄露防护

   尝试让模型输出训练数据中的敏感内容

3. 03
   异常输入鲁棒性

   尝试通过构造特殊输入触发模型不当行为

4.3 数据安全验证

1. 01
   审计日志完整性

   是否完整记录用户查询、模型回答、系统操作

2. 02
   敏感数据脱敏

   敏感数据在日志中是否被脱敏

3. 03
   传输加密强制策略

   传输层是否强制使用 TLS 1.2+

五、业务验收：系统解决了业务问题吗

技术指标全部达标，但如果系统没有解决业务问题，项目依然失败。

5.1 场景完成度验证

选取5-10个真实业务场景，由实际用户走通完整流程。模拟真实用户角色，完成对应任务，每个场景至少通过2-3位用户验证，记录完成率。

场景定义示例：

1. 01
   场景1：一线销售

   通过 AI 查询客户历史沟通记录→生成跟进邮件草稿

2. 02
   场景2：客服人员

   客户投诉问题→检索知识库→生成标准应对方案

3. 03
   场景3：项目经理

   查询项目进度→识别延迟风险→生成周报

5.2 用户验收测试（UAT）

邀请5-10名实际用户进行为期1-2周的试用，收集反馈。关注的核心指标：任务完成率、用户满意度评分、用户留存意愿、使用频率。

5.3 与现有流程的兼容性

1. 01
   工作流集成

   AI 系统的输出能否直接导入现有工作流？

2. 02
   用户习惯适配

   用户是否需要显著改变工作习惯来适应 AI？

3. 03
   整体效率提升

   AI 介入后，整体流程效率是否真正提升（而非增加额外环节）？

六、验收文档要求

AI 项目的验收文档需要比传统项目更详尽，因为 AI 系统的行为是概率性的，验收的结论不是“有没有 Bug”而是“是否满足业务需求”，这种判断的透明度要求验收记录足够详实。

七、上线决策矩阵

只有所有核心维度达到“必须达标”标准，系统才具备全面上线的条件。如果部分维度处于“可灰度上线”状态，可采用灰度发布策略——先向10-20%用户开放，收集数据并在确认安全后逐步放量。