无论你是否喜欢 GenAI，它都已经存在，并且正在以前所未有的速度改变着各个行业。随着企业争相采用ChatGPT、Amazon Bedrock 和 MidJourney等工具，安全格局正在发生巨大变化。

Gartner预测，到 2026 年，超过 80% 的企业将部署支持 GenAI 的应用程序，而 2023 年这一比例还不到 5%。

但伟大的创新也伴随着巨大的安全风险。

GenAI 引入了新的攻击面，传统的网络安全控制已不足以保护它。

CISO 不再有权拒绝 GenAI

问题？

传统的安全模型是围绕保护服务器、应用程序、数据中心等环境而建立的。

但 GenAI 的工作方式并非如此。

与静态应用程序不同，GenAI 能够以传统软件无法实现的方式学习、适应和操纵。

CISO 必须问以下问题：

模型托管在哪里？ → 第三方 API（例如 OpenAI、Anthropic）还是自托管？
使用哪种类型的模型？ → 预先训练、微调还是完全定制？
输入的数据是什么？ → 它处理的是 PII、财务记录还是内部 IP？
该模型对攻击的抵御能力如何？ → 我们是否测试过即时注入或对抗性操纵？

每一个问题都代表着传统安全工具无法解决的新攻击媒介。

CISO 在尝试保护 GenAI 时很容易犯下两个严重错误

1. 过度依赖安全工具

CISO 往往过于关注监控和入侵检测等安全工具，认为它们足以保护 GenAI 系统的安全。

然而，如果没有包括治理政策、数据保护和持续风险评估在内的整体方法，仅靠工具是不够的。

过分强调工具可能会导致忽视用户教育、治理框架和主动威胁建模等关键领域。

2.不平衡的GenAI安全策略

GenAI 的许多安全策略要么太高级（只关注人工智能伦理等广泛的政策），要么太低级（只关注模型加密等技术方面）。

需要采取平衡的方法来确保可行的安全措施。

必须与技术控制一起解决第三方 GenAI API 管理、AI 决策问责和法规遵从等关键治理问题，以防止出现安全漏洞。

这就是 AWS GenAI 安全范围矩阵的作用所在

AWS 生成式 AI 安全范围矩阵

AWS 开发了生成式 AI 安全范围矩阵，以帮助安全领导者对 GenAI 用例进行分类并应用适当的安全控制。

它根据组织对人工智能模型的控制和责任程度定义了五种不同的安全范围。

https://aws.amazon.com/blogs/security/secure-generative-ai-an-introduction-to-the-generative-ai-security-scoping-matrix/

GenAI 的五个安全范围

AWS 安全范围矩阵将 AI 用例分为五个安全范围：

1 — 消费者应用程序（范围 1） →使用第三方 GenAI 应用程序（控制最少，数据泄露风险最高），例如 ChatGPT

2 — 企业应用程序（范围 2） →GenAI 嵌入到 Microsoft CoPilot 等企业 SaaS 应用程序中

3 — 预训练模型（范围 3） →通过 API 使用外部模型构建应用程序。

4 — 微调模型（范围 4） →使用业务特定数据定制预训练模型。

5 — 自我训练模型（范围 5） →完全定制的 AI 模型（最具控制力、责任感最高）。

每个范围有不同的安全职责。

例如：

范围 1（消费者 AI 应用程序）→您需要数据丢失防护 (DLP) 策略来防止员工将敏感数据粘贴到公共 AI 工具中。
范围 5（自我训练模型）→您需要完整的模型治理、对抗性测试和访问控制来保护 AI 的输出。

https://aws.amazon.com/blogs/security/secure-generative-ai-an-introduction-to-the-generative-ai-security-scoping-matrix/

该矩阵还映射了不同 AI 实现之间的安全学科，重点关注以下方面：

1 — 治理与合规 → 建立 AI 决策问责制。2— 法律与隐私 → 解决 GDPR、CCPA 和 AI 特定的法律风险。3— 风险管理 → 识别攻击媒介，如即时注入和对抗性攻击。4— 安全控制 → 应用 IAM、加密和威胁监控来保护 AI 模型。5— 弹性 → 确保 AI 系统保持可用、稳健并能抵御攻击。