SECURITY & DEPLOYMENT —— 安全与部署

大模型私有化部署：本地、专属云与混合部署怎么选

· 约 1537 字 · 阅读 4 分钟 · 作者

简要回答

大模型私有化部署，是把开放权重的大模型和配套应用部署在企业自己控制的环境中，让数据不离开企业。常见的三种方式是：本地私有化（部署在企业机房或服务器）、专属云（部署在企业指定的专属云或政务云资源上）、混合部署（敏感数据与模型在本地，非敏感能力使用云端资源）。选择哪种方式，取决于数据敏感度、合规要求、算力预算和运维能力；算力可以从消费级显卡起步，先做 PoC 再扩容。

为什么要私有化部署

使用云端大模型 API 很方便，但对许多企业来说有几个顾虑：

  • 数据安全：图纸、工艺、合同、财务数据一旦发往外部服务，就离开了企业的控制范围。
  • 合规要求：国企、政府、金融、医疗等行业对数据存放位置、网络边界有明确要求，有的环境甚至完全断网。
  • 成本可预期：用量大时，按 token 计费的成本难以预估；自有算力的成本更可控。
  • 系统集成：私有化部署更容易接入内网的 ERP、MES、CAD 和文件系统。

开放权重模型的成熟，让私有化部署成为现实的选择。Qwen、DeepSeek、GLM 等系列都提供可下载的模型权重，许可证各不相同，详见《什么是大语言模型》。

三种部署方式

方式部署位置适合需要考虑
本地私有化企业自己的机房或服务器数据最敏感、要求断网或离线需要采购算力、自行运维
专属云企业指定的专属云或政务云资源希望弹性扩容、已有云资源需确认云资源的合规属性
混合部署敏感部分在本地，非敏感部分上云兼顾安全与成本需要清晰划分数据边界和路由规则

Stanley Team 的原则是：一套能力，三种部署，按客户的数据安全要求选择。

一套私有化系统包含什么

私有化部署不只是“把模型装到服务器上”，完整的系统通常包括：

  1. 模型服务：运行大模型的推理服务。常用的开源推理框架有 vLLM（高吞吐服务化推理）、llama.cpp 和 Ollama（适合轻量和个人设备）等；在国产 AI 芯片上，可以使用相应的适配版本，例如 vLLM 社区的昇腾插件 vllm-ascend。
  2. 模型网关：统一的模型调用入口，负责鉴权、额度、负载均衡和审计，见《什么是模型网关》。
  3. 知识与数据层：资料解析、向量与关键词索引、权限同步，见《什么是 RAG》。
  4. 业务连接器：与 ERP、MES、CAD、OA 等系统的读写接口。
  5. 员工入口：企业微信、飞书、钉钉、网页、小程序或既有业务软件内嵌。
  6. 运维监控：服务状态、资源占用、告警（可推送到企业 IM）。

关键设计：外部接口一键禁用

即使采用私有化部署，系统中也可能存在调用外部服务的地方，比如云端模型兜底、在线更新。我们的设计是：外部接口可以一键禁用，模型网关是唯一出口并全量审计。这样，企业可以根据安全要求，在“完全离线”和“本地为主、云端兜底”之间切换，而不需要修改应用。

算力怎么规划

算力需求取决于三个因素：模型大小、并发人数、响应速度要求。几点经验：

  • 先 PoC，后扩容。很多验证阶段的场景，用消费级显卡就能跑通，没有必要一开始就采购大量服务器。
  • 按场景选模型。不是每个场景都需要最大的模型。知识问答、文稿起草、信息抽取对模型能力的要求不同，可以用不同规模的模型。
  • 一次搭好，多场景共用。模型服务和网关是共享底座，第二个、第三个场景可以直接复用。
  • 本地负载均衡加兜底。多个本地模型实例之间做负载均衡；在允许的情况下，可以配置国产云模型作为兜底。

私有化部署的常见误区

  • 只看模型，不看数据。模型装好了，但资料没接入、权限没打通，员工依然用不起来。
  • 追求最大参数。大模型对算力要求高、速度慢，用中等规模的模型加好的检索，往往性价比更高。
  • 忽视运维。模型需要升级，资料需要同步，系统需要监控，这些都要有人负责。
  • 忽视许可证。不同开放权重模型的许可证条款不同，商用前应确认。

在 Stanley Team，客户现有环境、安全要求与运行条件的梳理，以及应用部署、访问控制和日常维护，由负责 FDE 云平台、安全部署与应用运维的黄祯荣（Wing Huang）负责，他有十余年信息技术、云平台与网络安全实战经验。

常见问题

私有化部署的模型效果会比云端差吗？

取决于选用的模型和场景。顶级闭源模型在通用能力上可能更强，但在企业场景里，效果更多取决于资料、检索和规则设计。应该用企业自己的评测集来比较。

完全断网的环境能部署吗？

可以。需要提供离线安装包，包括模型权重、依赖和应用，在断网环境下从零安装，并配套升级和回滚方案。信创环境的做法见《信创环境下的企业 AI》。

私有化部署需要多长时间？

基础环境部署通常不是瓶颈，时间主要花在资料接入、系统集成和评测上。以 Stanley Team 的流程为例，PoC 2–4 周，方案交付 4–6 周。

延伸阅读

参考资料

  1. vLLM DocumentationvLLM 官方文档
  2. vllm-ascendvLLM 社区昇腾插件
  3. llama.cpp开源推理框架
  4. Ollama本地运行大模型的工具
  5. Qwen3通义千问官方仓库
  6. DeepSeek-R1DeepSeek 官方仓库
  7. GLM-4.5智谱 GLM 官方仓库