SECURITY & DEPLOYMENT —— 安全与部署
企业 AI 安全清单：数据、权限、分权、审计与合规
简要回答
企业 AI 的安全可以归结为一句话：大模型提案，程序与人决定。具体落到五个方面：数据不出域（私有化部署，模型网关是唯一出口）；权限随原系统，按人过滤；高风险动作进入审批，提交人和审批人不能是同一人；每次提问、调用和修改都有审计记录，关键数字可追溯到原始单据；以及按适用的法规和行业要求做合规评估。
为什么 AI 安全要单独考虑
传统信息系统的安全，主要关注网络、账号和数据访问。大模型带来了几个新问题：
- 模型的输出不完全可预测，可能生成错误或不当内容；
- 模型可以调用工具，一旦权限过大，可能执行不该执行的操作；
- 用户的输入、检索到的文档里，可能夹带试图操纵模型的指令（提示注入）；
- 员工可能把敏感数据发往外部 AI 服务。
OWASP 发布的大模型应用十大风险清单，列出了提示注入、敏感信息泄露、过度授权、无限制消耗等典型问题；美国国家标准与技术研究院（NIST）发布的 AI 风险管理框架（AI RMF 1.0，2023 年 1 月），则从治理、识别、度量、管理几个方面给出了组织层面的方法。这些都是很好的参考。
一、数据安全
- 数据不出域：敏感数据和模型部署在企业控制的环境中，见《大模型私有化部署》。
- 唯一出口：所有模型调用经过模型网关；外部接口可以一键禁用，见《什么是模型网关》。
- 敏感信息过滤：请求和返回内容经过敏感词与个人信息检测。
- 加密资料的处理：只有经授权的程序可以穿透加密读取资料，解不开的记录状态，不以乱码入库。
- 日志也是数据：审计日志中的敏感内容要按策略保存和限期清理。
二、权限
- 权限随原系统：AI 检索和调用沿用原业务系统的权限，按提问人过滤。谁原来看不到的，问 AI 也看不到。
- 最小授权：每个工具、每个连接器只开放完成任务所需的最小能力，能只读就不可写。
- 基于角色的访问控制：按岗位角色配置可用的 AI 能力和数据范围。
三、分权与审批
- 大模型只提案：理解、检索、起草交给大模型；数值计算、参数校验、写入业务系统由确定性程序执行。原因见《大模型为什么会幻觉》。
- 高风险动作审批：写库、对外发送、资金相关等动作进入审批流。
- 职责分离：提交人和审批人不能是同一人。
- 可回滚：写入失败或校验异常时整单回滚，不留半截数据。
四、审计与追溯
- 每一次提问、每一次模型调用、每一次工具调用、每一次数据修改，都留有记录；
- 关键数字可以追溯到原始单据和计算规则；
- 审计记录防篡改，例如采用哈希链等方式保证记录完整性；
- 审计日志的查阅本身也要受控并留痕。
五、应用层防护
- 提示注入：把检索到的文档、邮件、网页内容当作数据而非指令；关键操作不能只凭模型判断执行。
- 输出校验：结构化输出要经过格式和取值范围校验，再交给下游系统。
- 调用上限：设置速率和额度限制，防止滥用和失控循环。
- 评测与回归：上线前用真实资料评测，上线后定期回归，见《企业 AI PoC 怎么验收》。
六、合规
国内与生成式 AI 最直接相关的法规之一，是国家互联网信息办公室等七部门联合发布的《生成式人工智能服务管理暂行办法》，自 2023 年 8 月 15 日起施行。几个值得企业注意的要点：
- 办法适用于利用生成式人工智能技术向中华人民共和国境内公众提供生成内容服务；第二条同时规定，行业组织、企业、教育和科研机构等研发、应用生成式人工智能技术，未向境内公众提供生成式人工智能服务的，不适用该办法。
- 提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并履行算法备案等手续。
也就是说，企业内部使用、不面向公众的 AI 系统，与面向公众提供的 AI 服务，适用的规则不同。具体项目是否适用、需要履行哪些程序，应结合业务形态和最新法规，咨询法务或合规专业人士。此外，网络安全、数据安全、个人信息保护等方面的通用法规，以及所在行业的监管要求，同样需要考虑。
一页清单
| 类别 | 检查项 | 是否满足 |
|---|---|---|
| 数据 | 敏感数据与模型在企业控制的环境中 | |
| 数据 | 模型网关是唯一出口，外部接口可禁用 | |
| 数据 | 请求与返回经过敏感信息过滤 | |
| 权限 | 检索与调用按提问人沿用原系统权限 | |
| 权限 | 工具与连接器最小授权 | |
| 分权 | 计算、校验、写库由程序执行 | |
| 分权 | 高风险动作审批，提交人≠审批人 | |
| 审计 | 提问、调用、修改全量留痕且防篡改 | |
| 审计 | 关键数字可追溯到原始单据 | |
| 应用 | 提示注入防护、输出校验、调用上限 | |
| 评测 | 上线前评测，上线后回归 | |
| 合规 | 已评估适用法规与行业要求 |
在 Stanley Team，这份清单里的环境梳理、访问控制与运维要求，由负责 FDE 云平台、安全部署与应用运维的黄祯荣（Wing Huang）在交付中落实。
常见问题
内部使用的 AI 系统也需要备案吗？
根据《生成式人工智能服务管理暂行办法》第二条，企业研发、应用生成式人工智能技术但未向境内公众提供服务的，不适用该办法。但具体情形需要结合业务判断，并关注其他法规和行业要求，建议咨询专业人士。
私有化部署了，是不是就安全了？
不是。私有化部署解决的是数据存放位置的问题，权限、分权、审计、提示注入防护等仍然需要逐项落实。
安全措施会不会让 AI 变得很难用？
设计得当时不会。权限随原系统、入口放在企业 IM 里、审计在后台自动完成，员工的使用体验和普通聊天差不多。
延伸阅读
参考资料
- 生成式人工智能服务管理暂行办法中国网信网
- OWASP Top 10 for LLM ApplicationsOWASP
- Artificial Intelligence Risk Management Framework (AI RMF 1.0)NIST，2023 年 1 月
- AI Risk Management FrameworkNIST
- Role-based access controlWikipedia
- Separation of dutiesWikipedia
- Principle of least privilegeWikipedia