企业 AI PoC 怎么验收？用真实资料建评测集，把指标写进门槛
简要回答
企业 AI 的 PoC 应该用企业自己的真实资料建评测集，由业务专家确认标准答案，再把准确率、检索命中率、答案引用率、处理耗时等指标写成上线门槛。验收看的是“在你的数据上表现如何”，而不是模型在公开榜单上的分数。指标写不出来不进 PoC，指标不过线不上线。
PoC 是什么，不是什么
PoC 是 Proof of Concept 的缩写，即概念验证：用较小的投入，在受控范围内验证一个想法在技术和业务上是否可行。
PoC 不是演示。演示的目标是“让人看到可能性”，样例可以挑选；PoC 的目标是“证明在真实条件下可行”，样本必须来自真实业务，并且事先约定好评判标准。很多项目的问题，是把演示当成了 PoC，上线后才发现差距。
在 Stanley Team 的交付流程中，PoC 通常是 2–4 周，位于场景对齐之后、方案交付之前，详见《FDE 交付四步法》。
第一步：先写指标，再做开发
一个可用的验收指标，至少要回答三个问题：
- 测什么：比如“技术员能否从知识库中找到正确的工艺文件”。
- 怎么测：用多少道题、每道题的标准答案是什么、谁来判定。
- 多少算过线：门槛值是多少，由业务方根据实际需求确定。
如果连这三点都写不清楚，说明场景还需要继续梳理。这也是我们坚持“指标写不出来不进 PoC”的原因。
第二步：用真实资料建评测集
评测集是验收的核心。几个原则：
- 题目来自真实问题：从员工的历史提问、工单、邮件里收集，而不是由开发团队自己编。
- 答案由业务专家确认：每道题对应标准答案及其出处文件，避免“看起来对”。
- 覆盖难点：除了常见问题，还要包括易混淆的型号、新旧版本冲突、扫描件里的内容、需要跨文档综合的问题，以及“资料里没有答案”的问题。
- 评测集与开发集分开：用于调优的样本和用于最终验收的样本要分开，否则分数会虚高。最好有一部分封存的测试题，直到最终验收才使用。
OpenAI 在关于幻觉的研究文章中指出，只看准确率的评测会鼓励模型“猜答案”。所以评测集里应该包含无答案的问题，并把“该拒答时拒答”算作正确。详见《大模型为什么会幻觉》。
第三步：选对指标
不同场景的指标不同，常用的有：
| 场景 | 常用指标 | 说明 |
|---|---|---|
| 知识库检索 | 命中率（hit@k） | 前 k 条检索结果中是否包含正确出处 |
| 知识问答 | 答案准确率、引用率 | 答案是否正确，是否给出可点回原文的出处 |
| 信息抽取 | 精确率、召回率 | 抽对了多少、漏掉了多少 |
| 单据处理 | 一次通过率、人工复核比例 | 多少单据无需人工修改 |
| 性能 | 响应耗时、并发成功率 | 真实负载下的速度与稳定性 |
| 估算类 | 误差中位数、区间覆盖率 | 预测值与实际值的差距 |
精确率和召回率是信息检索和机器学习中的经典指标：精确率衡量“找出来的有多少是对的”，召回率衡量“该找的找到了多少”。两者往往此消彼长，需要根据业务风险决定侧重。
第四步：写清楚测量范围
一个负责任的指标，必须同时说明它的测量范围。例如：
- 这个准确率是在多少道题、哪类资料上测出来的；
- 这个耗时是在什么硬件、多少并发下测的；
- 这个结果是开发集还是封存测试集的成绩。
Stanley Team 在首页展示的案例指标都附有测量范围注释，比如“合同评测集实测”“开发集”“投标前压测结果，不代表全量员工长期采用率”。这样做是为了让指标可以被复核，而不是被误读。
第五步：从 PoC 到上线的门槛
PoC 报告应该给出明确结论：过线、不过线，或者有条件过线。
- 过线：进入方案交付，完成权限、集成、审计和入口建设。
- 不过线：分析原因，是数据不足、评测口径问题，还是场景不适合，然后决定补充数据重测、缩小范围，还是终止。
- 上线后：用同一套评测集做回归测试，并通过月度效果报告持续跟踪。指标下滑就回到上一步。
在 Stanley Team，评测样本、人工审核与迭代反馈是负责 FDE 方案设计、算法与数据工程的马振源（Miles Ma）（哈尔滨工业大学航天工程本硕 · AI 算法与数据工程专家）关注的重点。
常见问题
评测集需要多少道题？
没有统一标准，取决于场景的复杂度和问题类型的多样性。原则是覆盖主要问题类型和易错点，并留出一部分作为封存测试集。
可以直接用公开榜单分数做选型吗？
公开榜单可以作为初步参考，但不能代替在企业自有数据上的评测。同一个模型在不同领域、不同资料上的表现差异可能很大。
业务方没有时间标注答案怎么办？
可以先由 FDE 团队根据资料起草答案和出处，再由业务专家抽查确认。但最终验收所用的标准答案，必须经过业务方认可。
延伸阅读
参考资料
- Working with evalsOpenAI 开发者文档
- Why language models hallucinateOpenAI，关于评测方式与幻觉的关系
- Precision and recallWikipedia
- Proof of conceptWikipedia
- Artificial Intelligence Risk Management Framework (AI RMF 1.0)NIST