大模型为什么会“幻觉”？企业 AI 的关键数字为什么要由代码算

简要回答

大模型“幻觉”是指模型自信地生成看似合理、实际错误的内容。它源于模型按统计规律预测下一个词的工作方式，以及“只看准确率”的评测会鼓励模型猜答案。幻觉无法被完全消除，所以企业 AI 应该这样分工：大模型负责理解、检索和起草，关键数字由规则引擎和代码计算并可追溯到原始单据，高风险动作由人审批。

什么是幻觉

OpenAI 在 2025 年 9 月发表的文章《Why language models hallucinate》中，把幻觉定义为语言模型生成的“看似合理但错误的陈述”。学术界的综述也把幻觉分为不同类型，例如与事实不符，或与用户提供的资料不符。

幻觉的危险在于，它往往语气自信、格式规范，看起来和正确答案没有区别。在企业场景中，一个编造的参数、一个算错的报价、一条不存在的制度条款，都可能造成实际损失。

幻觉从哪里来

模型的工作方式

大模型在预训练中学的是根据上文预测下一个词。拼写、语法这类有稳定规律的内容，模型可以学得很好；但有些事实是低频且任意的，比如某个人的生日、某个零件的公差，无法从语言规律中推断出来。OpenAI 的文章指出，这类事实正是幻觉的高发区。

评测方式的激励

同一篇文章还指出，许多评测只看准确率：答对得分，答错和“不知道”都不得分。这种情况下，猜一个答案的期望得分比承认不知道更高，于是模型被训练得更倾向于猜。文章认为，评测应该对“自信的错误”给予更重的惩罚，并对恰当表达不确定给予一定认可。

企业场景的特殊性

企业内部的知识，比如工艺规范、合同条款、库存数量，模型在训练时根本没有见过。如果不给它提供资料，它只能凭通用知识“合理推测”。

企业怎么控制幻觉

幻觉不能被完全消除，但可以被约束、被发现、被隔离。

一、给资料，要出处

用 RAG（检索增强生成）让模型基于企业自己的资料作答，并逐句标注出处，员工可以点回原文核对。详见《什么是 RAG》。

二、允许并鼓励拒答

资料中没有答案时，系统应明确回复“没有找到相关资料”。评测集中要包含无答案的问题，把正确拒答算作得分，见《企业 AI PoC 怎么验收》。

三、关键数字由代码算

这是我们最重要的原则之一：数字由代码算。报价、成本、库存、财务指标、工时估算，由规则引擎、数据库查询或统计模型计算，大模型只负责理解问题和解释结果。例如：

• 员工问“这个月某类外协件的平均单价”，大模型负责把问题转成查询，具体数字由语义层和代码从 ERP 只读库计算；
• 财务分析报告里的每一个数字，都来自确定性引擎并带证据编号，同一输入得到同一结果。

这样，关键数字就可以追溯到原始单据，出了问题也能定位到具体环节。

四、写库与执行交给程序和人

大模型可以提出“建议把这张 BOM 写入 ERP”，但实际写入由确定性程序完成：先按规则校验，异常时整单回滚。高风险动作进入审批，提交人和审批人不能是同一人。原则是大模型只提案，程序与人决定。

五、持续监测

上线后用同一套评测集做回归测试，结合员工反馈和月度效果报告，发现指标下滑及时处理。

一张分工表

常见问题

换一个更强的模型能解决幻觉吗？

更强的模型通常幻觉更少，但不会归零。对企业而言，更可靠的办法是在系统设计上把关键环节交给程序和人，而不是寄希望于模型永不出错。

大模型连简单的加减法都会算错吗？

在长数字、多步计算或需要精确数据的场景中，确实可能出错。即使模型通常算得对，企业也需要结果可追溯、可复现，这正是程序计算的优势。

如何让员工信任 AI 的回答？

靠可核查：每个答案都有出处，每个数字都能追溯到原始单据，找不到就明确说找不到。

延伸阅读

• 基础概念什么是 RAG（检索增强生成）？企业知识库问答怎么做才好用
• 基础概念什么是大语言模型（LLM）？原理、能力边界与企业用法
• 安全与部署企业 AI 安全清单：数据、权限、分权、审计与合规
• 基础概念什么是人工智能（AI）？一篇写给企业管理者的入门

参考资料

1. Why language models hallucinateOpenAI，2025 年 9 月
2. A Survey on Hallucination in Large Language ModelsHuang 等，2023
3. Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language ModelsZhang 等，2023
4. Hallucination (artificial intelligence)Wikipedia
5. Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis 等，2020