FUNDAMENTALS —— 基础概念

什么是大语言模型（LLM）？原理、能力边界与企业用法

· 约 1608 字 · 阅读 4 分钟 · 作者

简要回答

大语言模型（LLM）是用海量文本训练、能够理解和生成自然语言的深度学习模型。它的基本工作方式是根据上文预测下一个词（token），经过指令微调后可以按人的要求回答问题、写作、总结和调用工具。大模型擅长语言理解和内容起草，但不保证事实准确，也不擅长精确计算，所以企业通常要给它接上自己的资料（RAG），并让程序负责关键数字。

大模型是怎么“学会说话”的

大语言模型的核心是一个巨大的神经网络，今天的主流架构是 2017 年论文《Attention Is All You Need》提出的 Transformer。它的训练大致分为两个阶段。

预训练：给模型看海量文本，让它反复练习一件事——根据前面的内容预测下一个 token（可以粗略理解为字或词的片段）。在这个过程中，模型学到了语法、常识和大量知识的统计规律。

指令微调与对齐：只会“接话”的模型还不好用。研究者会用人工编写的指令和回答进一步训练模型，并用人类反馈来调整模型的偏好，使它更会遵循指令、更有帮助。OpenAI 2022 年的 InstructGPT 论文是这一方法的代表。

此外，研究发现，让模型在回答前先写出推理步骤（“思维链”），可以提升它在数学和逻辑问题上的表现。现在不少模型都内置了这种推理模式。

几个必须知道的概念

  • Token：模型处理文本的基本单位。计费、上下文长度通常都以 token 计。
  • 上下文窗口：模型一次能“看到”的文本长度，包括提问、资料和历史对话。超出窗口的内容模型看不到。
  • 参数量：模型中可学习参数的数量，常以 B（十亿）为单位。参数越多通常能力越强，但运行成本也越高。
  • 混合专家（MoE）：一种模型结构，每次只激活部分参数，在总参数很大的情况下降低推理成本。
  • 开源 / 开放权重：模型权重可以下载并在自己的服务器上运行。不同模型的许可证不同，商用前要逐个确认。

开源模型与闭源模型

类型典型代表优点需要注意
闭源 API各大厂商的云端服务能力强、免运维数据要发往厂商；成本随用量增长
开放权重模型Qwen（通义千问）、DeepSeek、GLM 等可私有化部署，数据不出域需要算力和运维；许可证各不相同

以许可证为例：Qwen3 系列的开放权重模型采用 Apache 2.0 许可；DeepSeek-R1 的代码和权重采用 MIT 许可；DeepSeek-V3 的代码是 MIT 许可，模型权重则使用单独的 DeepSeek 模型许可。企业选型时应以官方仓库的最新说明为准。

对数据敏感的企业，开放权重模型加私有化部署是常见选择，详见《大模型私有化部署》和《信创环境下的国产开源大模型》。

大模型擅长什么

  • 理解意图：把员工的口语化问题转成结构化的查询或任务。
  • 阅读和总结：从长文档中提取要点、对比版本差异。
  • 起草内容：会议纪要、公文、邮件、报告初稿。
  • 翻译与改写：多语言沟通、按规范调整文风。
  • 调用工具：按指令调用检索、数据库查询、业务系统接口，这是智能体的基础，见《什么是 AI 智能体》。

大模型不擅长什么

  • 保证事实准确：模型可能生成听起来合理但实际错误的内容，即“幻觉”。
  • 精确计算：多位数运算、成本核算、报价，应由程序完成。
  • 知道企业内部的事：模型没见过企业的工艺文件、合同和台账，需要通过检索增强（RAG）提供资料，见《什么是 RAG》。
  • 知道最新信息：模型的知识截止于训练数据的时间。
  • 承担责任：模型的输出需要由人审核，高风险动作需要审批。

这些局限不是“等下一代模型就能解决”的小问题，而是需要用工程方法来约束的特性。我们的原则是：大模型提案，程序与人决定。详见《大模型为什么会幻觉》。

企业怎么用好大模型

  1. 给模型接上企业资料：用 RAG 让答案来自企业自己的文档，并标注出处。
  2. 让程序负责关键数字：报价、库存、财务指标由规则引擎或数据库计算，大模型只负责解释。
  3. 控制数据出口：通过模型网关统一管理调用、额度和审计，见《什么是模型网关》。
  4. 用真实数据评测：选型和验收都应以企业自己的评测集为准，而不是只看公开榜单。
  5. 放进员工熟悉的入口：企业微信、飞书、钉钉或既有业务系统。

在 Stanley Team，模型选型、优化与部署由负责 FDE 方案设计、算法与数据工程的马振源（Miles Ma）负责，他具备模型优化部署、上亿级数据处理与企业 AI 应用经验。

常见问题

参数越大的模型一定越好吗？

不一定。更大的模型通常能力更强，但需要更多算力，响应也更慢。很多企业场景用中等规模的模型加上好的检索和规则，效果和成本更平衡。最终要用企业自己的评测集来比较。

大模型会记住我们输入的数据吗？

模型在推理时不会自动把输入写回权重。但如果使用第三方云服务，数据会经过服务商的服务器，是否被留存或用于训练取决于服务条款。私有化部署可以让数据留在企业内部。

可以用企业数据微调模型吗？

可以，但很多场景不需要。企业知识类问题优先用 RAG，资料更新后无需重新训练；微调更适合固定格式、特定风格或专门任务。

延伸阅读

参考资料

  1. Attention Is All You NeedVaswani 等，2017
  2. Training language models to follow instructions with human feedbackOuyang 等，2022（InstructGPT）
  3. Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsWei 等，2022
  4. Scaling Laws for Neural Language ModelsKaplan 等，2020
  5. Large language modelWikipedia
  6. Mixture of expertsWikipedia
  7. Qwen3通义千问官方仓库
  8. DeepSeek-R1DeepSeek 官方仓库
  9. DeepSeek-V3DeepSeek 官方仓库