随着大模型技术的逐渐成熟，AI应用逐渐爆发，业务和使用群体的扩大，也暴露了越来越多的安全问题。为了助力企业更好地拥抱AI时代，在5月22日安全飞天发布时刻，阿里云智能集团云安全产品线负责人欧阳欣正式对外发布：AI云盾（Cloud Shield for AI）系列产品，为客户提供大模型应用端到端的安全解决方案，覆盖AI基础设施层、AI大模型层、以及AI应用层安全防护，助力企业在GenAI时代，走得更稳，更远，更安全。Part01
Gen-AI的安全防护到底在防什么？
想要全面防护，首先要正确认识安全风险，过去两年围绕着大模型的安全事件与争论层出不穷：Deepfake人脸造伪诈骗、Ollama组件漏洞、模型生成内容违规、敏感信息泄露......有些是模型自身的风险，有些则是模型应用带来的风险，对于大模型行业从业者及其使用者来说，我们该如何认知Gen-AI的风险？阿里云从模型应用构建的生命周期出发，从AI基础设施、AI模型本身及AI应用三层来拆解其对应的风险：包括系统暴露风险、算力劫持风险和模型软件供应链风险。当前检测显示Ollama组件公网暴露量已经达到15万+，且83%的MCP部署存在漏洞风险；同时，算力的盗用挖矿更是甚嚣尘上，全球已有超10亿$算力遭到劫持；供应链与开源组件漏洞也在威胁着模型安全性，据统计有43%的MCP服务端存在未经验证的调用漏洞；一方面是模型训练时涉及的数据安全问题，包括隐私数据泄漏、训练数据投毒等；另一方面则是对模型输入输出内容的恶意诱导，所导致的内容合规、涉黄涉暴、提示词注入攻击等风险；当AI应用在线上提供服务时，会面临流量安全、DDoS攻击导致服务不可用等风险，其次由于模型应用的特殊性，Deepfake及日益成熟的AIGC技术所带来的诈骗风险加剧；这些风险场景，有些是大模型特殊形态所带来的新风险，有些则是偏通用的安全建设，但不可否认的是，AI时代，攻击速度、攻击范畴和攻击复杂性都在呈指数级提升，我们既要保护由大模型带来的风险和基于大模型构建的应用，也要利用AI来实现安全产品的智能化升级。Cloud Shield for AI
大模型应用端到端的安全防护
在对AI时代风险进行层次化分类之后，阿里云安全也建立了三层模型防御体系，实现模型应用端到端的安全防护。除了通用的网络安全、数据安全以及身份安全能力外，阿里云在AI软件供应链安全、AI算力防护、AI系统漏洞检测修复、AI应用流量识别等方面进行了全新的能力建设，和阿里云灵骏平台进行了深入集成与合作，同时推出了AI-SPM、AI-BOM等产品；阿里云推出全新的AI安全护栏（AI Guardrail）产品，覆盖内容合规检测、敏感数据泄露和提示词攻击防护三大能力，保障模型输入输出安全；防护AI应用可能遭受的DDoS攻击、Web入侵、API入侵、AI BOT对抗等问题，同时通过引入通义千问VL视觉语言模型强大的理解推理能力，有效防御Deepfake深度伪造换脸威胁；以上的安全防护中，针对大模型所带来的全新风险，阿里云正式推出的AI云盾（Cloud Shield for AI）系列产品，全新产品AI安全护栏，升级云安全中心、WAAP和云防火墙，为客户提供模型输入输出安全、AI-BOM、AI-SPM、AI应用流量识别、AI BOT防护等安全能力，依赖阿里云通义大模型的底层能力，将最前沿的大模型技术持续注入到安全产品中，为客户提供行业领先、可信赖的AI安全解决方案。基于大模型所构建的应用，在企业应用、智能客服、教育、社交、游戏、搜索等场景，均开始有落地，但价值观诱导、「奶奶漏洞」、模型幻觉、事实错误、模型劫持等问题也在威胁用户对其的信任感。阿里云AI安全护栏是一款专门为保障AI业务的合规性、安全性而打造的产品，适用于预训练大模型、AI服务、AI Agent等各种形态的AI业务，提供端到端的全链路防护体系：对生成式AI输入输出的文本内容进行多维度合规审查，覆盖涉政敏感、色情低俗、偏见歧视、不良价值观等风险类别，深度检测AI交互过程中可能泄露的隐私数据与敏感信息，支持涉及个人隐私、企业隐私等敏感内容的识别，并提供数字水印标识，确保AI生成内容符合法律法规与平台规范；针对提示词攻击、恶意文件上传、恶意URL链接等外部攻击行为，可实现实时检测并拦截，规避AI应用的最终用户的风险；关注AI模型本身的稳定性和可靠性，针对模型越狱、Prompt爬虫等问题建立了一整套检测机制，防止模型被滥用、误用或者产生不可控的输出，构建AI系统的“ 免疫防线 ”；阿里云安全护栏的设计目标是“简单、高效、无门槛”，为客户提供All In One API的调用模式。AI护栏提供一个全模态的统一接口，只需调用一个API，就能同时满足文本、图片、文件、音频、视频等多模态内容的交叉检测，所有相关能力，无论是内容合规、提示词攻击拦截还是恶意文件扫描，都可以在一次API调用中全部完成检测。同时，AI安全护栏还与阿里云的 AI基础设施类产品深度结合，支持在百炼、AI网关、Web应用防火墙中一键开启调用，满足不同业务场景的防护需求。这些能力背后，离不开云安全和通义团队的深度合作。双方联合研发了文本审核、图像审核以及多模态审核等多个大型模型，为客户提供行业领先、可信赖的AI安全解决方案。在AI基础设施层，阿里云安全推出AI资产情况（AI-BOM）和AI安全态势管理（AI-SPM）能力，为客户建立持续的可见性，看清自己有哪些AI资产，并对其安全状态进行持续性的监控与关注。阿里云AI-BOM能力在事前为用户提供系统中的AI资产清单，覆盖主机内AI组件及多云平台的云原生产品两个层面资产识别，进而帮助识别AI系统的弱点、管理风险和应对事件。覆盖AI生命周期的组件梳理：当前已支持30+服务器内AI组件的采集及展示。从3类场景覆盖组织AI全生命周期的关键组件梳理，分别是：- 模型训练与推理引擎：（包括Ollama、vllm、Lm Studio、LLaMA Factory 等）
- 服务应用：包括AI界面（open-webui）、对话服务（NextChat等）、AI工作流（Dify等）、图像生成（ComfyUI、stable-diffusion-webui等）
- 基础设施：向量数据库（Milvus、qdrant等）
支持多云环境下云原生AI产品的统一资产梳理和管控，可覆盖阿里云、AWS、Azure、腾讯云等4个云厂商的9款AI云产品的资产实时同步。梳理完AI资产后，阿里云提供AI-SPM能力覆盖AI全生命周期的云上安全态势管理，包括对AI基础设施安全状态的持续监控、评估和改进，识别和解决与AI采用相关的漏洞、错误配置、公网暴露风险和敏感文件明文存储等风险，以及确保遵守相关的隐私和安全法规。支持200+漏洞检测规则、40+AI相关产品的配置检查项，6类AI密钥调用规则、以及35+服务器内AI组件的检测能力，并支持设置周期性扫描规则，提供AI资产的持续监控及评估；从漏洞、云产品风险、身份权限、敏感文件明文存储4类风险为用户提供持续性的风险检测能力，并对检出的风险提供上下文及修复建议，以便对已识别的风险或错误配置进行补救，实现DevOps场景下的风险实时发现及持续性AI风险发现及收敛；AI应用一体化防护：All In One WAAP在应用防护层面，AI应用既面临着传统Web应用所面对的风险，即便是大模型的基模业务也是以Web应用来提供服务的，模型业务的接口问题、DDoS攻击导致业务中断、机器爬虫、组件漏洞等风险逐渐浮出水面，阿里云WAAP（Web Application and API Protection）产品体系全面升级，全面兼容大模型应用场景面临的Web风险。针对大模型应用发展中衍生出的新应用组件，如：Ollama、Mlflow、Ray的漏洞防护，目前已覆盖了50+种常见AI应用的防护；在《2024年云安全态势报告》中，阿里云安全团队观察到大模型API接口频繁遭到爬虫攻击，机器流量占比已超过30%。对此，我们基于此构建了大模型爬虫指纹情报，能自动生成每小时1万多条指纹，帮助客户识别爬取大模型语料与测评的网络指纹和工具指纹；阿里云WAAP的API安全能力已支持大模型对话接口的资产发现，帮助用户从API的维度发现资产并进行风险评估；以上所有的能力，包括传统的Web层应用流量防护、API防护、防爬等均已集成在同一款WAAP产品中，帮助客户一站式解决应用安全问题，提升防护效率。Protect at AI Speed
安全产品的智能化升级
在上文中提到，AI时代的安全对抗正在变得越来越激烈，攻击者已经在利用AI技术来发起更复杂、更难防御的APT攻击，而如果我们仍仅依赖于「人的速度」来迭代安全产品，必然会远远落后于「AI速度」。早在2023年，阿里云已经推出了云安全大模型，并在安全运营、数据分类分级、内容安全、业务安全等多个领域，全面融入AI能力。在安全运营服务中，阿里云基于底层通义大模型能力，加上安全的专家知识，构建了AI检测模型，通过多Agent协同调用，在提升威胁检测精准度、恶意流量检测、主机入侵检测、恶意软件、文档、网站后门、脚本检测等方面都带来了数字的提升，并基于用户效果反馈做模型自适应迭代，用数据飞轮的方式实现能力的动态增强。利用AI实现自动化处置、极速响应，主机纯净度达到99%、流量纯净度达到99.9%；利用AI提高事件分析效率，优化管理流程，辅助安全运营，告警事件类型覆盖率达99%，大模型用户覆盖率达88%；数据安全领域
阿里云基于大模型大幅降低隐私数据泄漏风险，实现了800+云上数据智能化实体识别&脱敏&加密、30+文档&图片内置AI识别能力、AI智能分类，自动识别敏感等级，打标效率提升5倍、识别准确率达到95%；
业务安全领域
阿里云通过研发内容安全大模型，实现基于Prompt工程的数据标注效率提升100%、暗喻场景识别效果提升73%、视觉场景识别效果提升88%、AI活体人脸攻击检测准确率99%；
AI时代的航行刚刚启程，阿里云也将持续精进自身能力，为客户提供AI时代下最坚实、全面的安全防护。
还没有评论，来说两句吧...