SECURITY & DEPLOYMENT —— 安全与部署
什么是模型网关？企业 AI 的统一出口、额度管理与全量审计
简要回答
模型网关是位于企业各类 AI 应用和大模型之间的一层统一服务：所有模型调用都必须经过它。它负责身份鉴权、模型路由与负载均衡、按部门分配额度并记账、过滤敏感信息，并对每一次调用全量审计。对企业来说，模型网关是“唯一出口”：既能管住数据流向，又能说清楚每个部门用了多少、花了多少。
为什么需要模型网关
当企业只有一个 AI 应用时，问题还不明显。一旦知识库、办公助手、设计助手、财务分析等应用陆续上线，就会出现一系列管理问题：
- 每个应用各自连接模型，配置分散，换模型要改很多地方；
- 不知道每个部门用了多少、花了多少；
- 员工可能把敏感内容发给外部服务；
- 出了问题，很难追溯是谁、在什么时候、通过哪个应用调用了什么。
模型网关的思路，与企业网络中的统一出口类似：把所有大模型调用收拢到一个入口，在这里统一做鉴权、路由、计量和审计。
模型网关的核心功能
统一接入与路由
应用只需对接网关，不直接对接具体模型。网关根据场景、用户和策略，把请求路由到合适的模型：知识问答用一个模型，长文档总结用另一个模型。更换或升级模型时，应用无需修改。
负载均衡与兜底
在多个本地模型实例之间做负载均衡；在安全策略允许的情况下，可以配置云端模型作为兜底。外部接口应能一键禁用，切换到完全离线模式。见《大模型私有化部署》。
身份鉴权
每一次调用都绑定到具体的用户和应用，沿用企业的统一身份体系。没有身份的调用不予放行。
部门额度与成本入账
按部门、项目或用户设置调用额度；每次调用的 token 用量和成本记入对应部门。管理者能清楚看到每个部门用了多少、花了多少，便于评估投入产出。
内容过滤
在请求发出和结果返回时，检测敏感词和个人信息，按策略拦截、脱敏或提示。这对于混合部署尤为重要：发往云端的内容必须经过过滤。
全量审计
记录每一次调用的用户、时间、应用、模型、输入摘要、输出摘要和耗时。审计记录用于安全追溯，也用于效果分析和问题排查。
模型网关解决的一个现实问题：私用外部 AI
如果企业不提供好用的 AI 工具，员工往往会自己找外部 AI 服务，把文档、代码、会议记录粘贴进去。这类“影子 AI”的泄密风险是很多企业的担忧。
更有效的办法，是提供一个比外部工具更顺手的内部 AI 工作台：员工在企业微信或飞书里就能用，能访问企业自己的资料，所有调用都经过模型网关。Stanley Team 的智能办公助手就是按这个思路设计的：员工发起任务，内容先经过敏感词与个人信息过滤，再经模型网关按部门额度调用模型，生成可编辑的文档，全链路审计留存。
模型网关与其他组件的关系
| 组件 | 解决的问题 |
|---|---|
| 模型服务 | 运行模型，提供推理能力 |
| 模型网关 | 谁能调用、调用哪个模型、用了多少、留下什么记录 |
| MCP / 连接器 | 模型如何调用企业的工具和数据，见《什么是 MCP》 |
| 知识库 | 给模型提供企业资料并标注出处 |
| 权限系统 | 每个人能看到哪些资料、能执行哪些操作 |
设计模型网关的注意事项
- 默认拒绝：未登记的应用和用户不能调用。
- 最小日志原则与留存期限：审计要完整，但也要按企业的数据保护要求控制日志中敏感内容的保存方式和期限。
- 高可用：网关是所有 AI 应用的必经之路，需要冗余部署和监控告警。
- 可观测：提供按部门、应用、模型维度的用量报表和异常告警。
- 防滥用：设置速率限制，防止脚本或错误配置耗尽额度。OWASP 的大模型应用风险清单中也包含“无限制消耗”一类问题。
常见问题
只有一个 AI 应用，需要模型网关吗？
可以先不单独建设，但建议在应用中预留统一的调用层。当第二个应用上线时，再把它抽成独立网关，成本最低。
模型网关会增加响应延迟吗？
网关本身的处理通常很轻量，与模型推理时间相比影响很小。内容过滤和审计可以采用异步或流式处理，进一步降低影响。
审计日志谁能看？
审计日志本身也是敏感数据，应按分权原则限定查阅范围，例如只有安全或审计岗位可以查看明细，查阅行为本身也应被记录。