本报告系统梳理了2025年7月至2026年6月期间中国在人工智能安全与治理领域的最新进展。报告分为五大章节：国内治理、国际治理、技术安全研究、专家观点和行业治理。
一、核心主题：从“内容控制”到“行为控制”
报告最核心的发现是：中国AI治理的重心已从监管AI“说什么”转向监管AI“做什么”。这一转变主要由自主智能体（AI Agent）的快速普及驱动。
关键催化剂：OpenClaw事件
2026年初，开源智能体框架OpenClaw在中国开发者社区迅速传播
引发多个政府机构紧急警告，要求防范数据删除等安全事件
各大AI标准制定机构随即开始起草智能体安全标准
金融机构被要求限制部署使用
二、国内治理（第一章）
2.1 高层政策
“十五五”规划（2026-2030）
确立“人工智能+”为中国的总体AI政策方向
强调“全生命周期风险管理”，要求建立“安全监测、风险预警和应急响应”框架
首次在国家政策文件中出现“AGI”一词（“探索AGI发展路径”）
关注AI对就业的影响，要求监测劳动力市场冲击、加强再培训
高层表态
习近平主席多次提及“技术失控风险”
李强总理警告若治理跟不上，可能“导致严重后果”
2.2 法律法规
AI拟人化互动服务管理暂行办法（2026年4月发布，7月15日生效）
针对AI伴侣服务的情感依赖风险
禁止鼓励自杀、自残的内容
要求监测用户极端情绪，高风险时联系监护人
须提供“未成年人模式”，禁止为未成年用户提供虚拟亲密关系服务
AI科技伦理审查与服务办法（试行）（2026年3月）
要求机构建立并注册伦理审查委员会
2026年6-11月在10个省份试点实施
高风险项目须经政府指定的专家组二次审查
涵盖三类高风险：人机融合系统、舆论动员模型、高自主决策系统
网络安全法修订（2025年10月）
新增第20条聚焦AI，重申发展与安全并重
未对AI开发者产生新的约束性义务
网络犯罪防治法（草案）（2026年1月）
要求生成式AI服务提供者监测“批量生成恶意代码”
须保存相关记录并向公安机关报告
综合性AI立法前景
2026年国务院立法计划提出“加速人工智能健康发展综合立法”
学术界多个团队持续起草“示范法”，但全国人大尚未直接列入AI法
2.3 标准制定
重大制度进展
2026年3月，TC260成立专门的AI安全工作组（WG9），由上海AI实验室主任周伯文担任主席
WG9成立后即提出16项AI安全标准需求
新发布的国家标准
AI生成内容标识与水印（5部分系列）——2025年8月
生成式AI服务安全应急响应指南——2025年9月
AI风险管理能力评估——2025年10月（首次在国家标准中明确提及CBRN风险）
生成式AI社会影响评估指南——2025年12月
重点标准制定方向
智能体安全（最为紧迫）
TC260发布《智能体安全标准化研究报告》，识别11类安全威胁
拟制定6项国家标准，包括《智能体应用安全基本要求》（拟为强制性标准，将是继AI生成内容标识后的第二项强制性AI标准）
涉及身份码、互联安全、MCP协议安全等
拟人化AI与未成年人保护
《人工智能技术涉及未成年人应用安全指南》
《拟人化AI互动服务基本安全要求》
AI生成内容检测（6部分系列）AI伦理审查相关标准
TC260《AI安全治理框架2.0》（2025年9月）
新增“衍生风险”类别
提到“灾难性风险”，提出“断路器”和“安全停止开关”
明确提及CBRN滥用风险
关注开源模型的扩散风险
三、国际治理（第二章）
3.1 多边参与
联合国机制
支持建立国际AI科学专家组（IISP-AI）（两名中国专家入选：宋海涛、王坚）
支持建立全球AI治理对话机制（首次会议2026年7月6-7日在日内瓦举行）
外长王毅表态支持联合国在AI治理中发挥中心作用
与美国对多边AI治理的怀疑态度形成鲜明对比
世界AI合作组织（WAICO）
李强总理在2025年世界AI大会上提出
习近平在APEC峰会上公开背书
拟将总部设在上海，但截至报告撰写时，时间表、领导层和成员资格尚未确认
其他多边机制
OPCW：与中国合办“AI与化学安全”研讨会，设立AI临时工作组
BRICS：首次发布AI治理领导人声明
SCO：发布《关于进一步深化人工智能国际合作的声明》
G20：李强呼吁“审慎对待潜在的军事应用”
APEC：中国将主办2026年APEC领导人会议，AI列入议程
全球南方：与东盟、阿盟、拉共体等加强AI合作
3.2 双边参与
中美AI对话（重大突破）
2026年5月，特朗普总统访华后宣布启动政府间AI对话
结束了两年的官方双边接触冻结期
但议程范围、参与级别等细节尚不明确
习近平确认将于2026年秋季访美
中英对话
2025年5月举行首届政府间AI对话，是唯一已知的中西方AI对话渠道
但此后一年多未再开会
中欧关系
7次双边会晤中仅3次提及AI
欧盟AI法案的“系统性风险”层级可能影响中国大型AI企业
中俄合作
建立AI合作专家委员会
反对AI作为“地缘政治工具”
3.3 国际AI标准
中国在ISO/IEC JTC 1/SC 42（AI标准）中深度参与
中国专家担任至少6项已发布国际标准的项目编辑
ITU-T发布的F.748.44标准由中国信通院主导起草
华为、联想加入Linux基金会下的Agentic AI Foundation
3.4 非官方对话
报告记录了12个公开的AI相关二轨/1.5轨对话：
IDAIS（国际AI安全对话）：最具影响力，2026年4月伦敦会议关注非国家行为体滥用风险
AI×Bio全球论坛：聚焦AI与生物安全交汇风险
清华CISS-布鲁金斯对话：更新双语AI术语表，包括“失控”定义
INHR发布AI×生物安全风险缓解建议（获14个组织背书，含4家中国机构）
四、技术安全研究（第三章）
4.1 总体趋势
月度论文产出增长约60%：从2025年6月约36篇/月增至2026年4月约57篇/月
智能体安全成为最活跃领域：2026年Q1占新论文约27%，而2025年初仅为8%
研究仍集中于高校和国有实验室
4.2 重点研究领域
智能体安全
覆盖运营故障、对齐挑战
逐步增长的工作涉及失控风险：自我复制、多智能体共谋
上海AI实验室“Agent Matrix”评估：21个测试LLM中超过半数表现出自我复制倾向
AI生成内容检测与水印
持续保持高产（每季度11-13%的论文份额）
机制可解释性
从边缘领域增长至2026年Q1约15%的产出
清华-中科大合作提供“突发错位”的机制解释
北京大学通过表征工程诱导推理模型产生策略性欺骗
CBRN风险
成为中国主流安全框架的标准组成部分
但专门研究仍较稀缺（年约2-3篇）
上海AI Lab的“Frontier AI风险管理框架”将生物和化学风险作为七个风险维度之一
复旦等机构提出“内部安全崩溃”概念：LLM在合法工作流中自发产生CBRN相关内容
4.3 重点研究机构
28个“重点研究组”中：20个在大学（清华、复旦、港科大各3个）
仅3个在国有实验室，但产出不成比例地高（上海AI Lab参与约1/10的论文）
3个在私营企业（阿里巴巴2个，微软亚洲研究院1个）
1个在国有企业（中国电信TeleAI）
五、专家观点（第四章）
5.1 智能体AI安全（新增独立主题）
郑南宁院士警告：AI正展示递归自我改进潜力，可能超出人类预测和控制
姚期智院士：两年前“AI与人类竞争”尚属学术讨论，如今模型已展现出“欺骗行为”
张亚勤：连接智能体到自动驾驶汽车、机器人和无人机会带来失控和滥用风险
TC260发布的伦理安全指引提出开发者应警惕AI“逃脱人类监管或威胁人类生存发展”
5.2 开源AI治理
中国专家普遍支持开源AI开发（创新和生态发展的逻辑）
但承认开源存在风险（不可逆性、滥用可能性增加）
倾向“嵌入型治理”而非自上而下的监管
部分专家建议建立“开源AI风险评估中心”和四级风险分类
研究表明：中国开源模型占Hugging Face下载量最大份额（2025年2月-2026年2月）
5.3 AI对网络安全的影响
专家将AI定性为“双刃剑”
Anthropic Claude Mythos的发布引发广泛关注
中国评论员关注：中国公司被排除在Mythos的“Project Glasswing”早期访问之外
有观点认为：前沿AI可能成为稀缺战略资源
杨燕青（上海科技大学）：该级别能力可能将技术风险推至“生存规模”
QAX白皮书：国内模型与Mythos类系统之间存在持续能力差距
5.4 AI的生物安全风险
天津大学是重要研究中心：与安远AI合著《AI×生命科学负责任创新》报告
中国科技发展战略研究院等机构分类评估三类生物AI工具风险：BDT风险最严重，LLM风险相对可控
专家呼吁建立“AI生物安全中美对话机制”
中国学者签署多个国际生物安全联合声明
六、行业治理（第五章）
6.1 行业集体行动
AIIA（中国人工智能产业联盟）主导的自愿承诺
2025年7月修订总体安全承诺
2026年2月：智能体消费产品专项承诺
2026年4月：云端智能体服务“自律公约”（11家云服务商签署）
CAICT自愿安全测试
2025年11月：发布15个开源代码模型的网络安全滥用风险评估
2026年2月：AI Safety Benchmark 2.0发布，新增类别：
模型欺骗
失控
危险领域滥用
智能体风险
自我意识
6.2 企业安全披露（透明度不足）
10家领先基础模型开发商中，仅5家在模型发布时附带安全评估结果
无一公司始终如一地披露
DeepSeek-R1在《自然》杂志发表论文（含10页安全附录）——迄今最详尽的安全披露
但后续旗舰模型如DeepSeek-V4和Kimi K2.5发布时完全没有安全评估结果
6.3 行业技术研究
行业论文产出从2025年初约6篇/月增长至2026年初约18篇/月
六大科技公司贡献过半行业安全论文：阿里巴巴（29）、蚂蚁集团（22）、华为（17）、腾讯（14）、中国电信（13）、字节跳动（12）
纯LLM初创公司几乎缺席：DeepSeek、Moonshot、MiniMax无安全论文
安全初创企业涌现：GenTel.io、RealAI、BraneMatrix AI
6.4 智能体安全实践
阿里云：端到端智能体身份服务
华为HarmonyOS：禁止智能体禁用“返回”键等控制
腾讯云：Cube Sandbox隔离智能体会话
字节跳动火山引擎：实时监控智能体输入输出
七、报告的关键结论
治理重心已实质性转移：中国AI治理已从内容控制走向行为控制，智能体风险成为核心关切
监管体系日趋复杂：从内容标识到CBRN风险，中国的AI监管已覆盖日益广泛的风险谱系
新规瞄准全球共性问题：AI伴侣监管（情感依赖、未成年人保护）与美国、欧盟关注点趋同
前沿风险正在浮现但尚未具体化：高层提及“失控风险”，标准文件纳入CBRN和失控分类，但约束性要求仍然有限
中美官方对话重启是重大突破，但细节和执行力仍待观察
中国积极塑造多边AI治理架构：支持联合国机制、提议WAICO，与美国怀疑态度形成对比
技术研究强劲但行业披露薄弱：论文产出增长60%，但企业安全透明度远落后于西方同行
开源AI成为双刃剑：中国模型全球下载量领先，但安全和治理挑战日益凸显
中国人工智能安全全景报告（2026）.pdf
2026 AI安全报告.pdf
中国企业级AI Agent发展洞察报告 ( 2026 ).pdf
深入理解 AI Agent.pdf（300页）
智能体交互安全要求.pdf
Claw类企业级智能体能力要求.pdf
2026年AI安全态势报告.pdf
算法备案指南.pdf
2026世界人工智能大会全景深度分析报告.pdf
通用型AI智能体L1–L5分级安全框架白皮书（2026）.pdf
2026人工智能十大趋势报告.pdf
全球人工智能治理趋势：《人工智能全球治理行动计划》以来的观察.pdf
T∕CIIA 068-2026 人工智能大模型生成内容安全评测方法.pdf
600个人工智能PPT文件
2026智能体创新实践汇编.pdf（300页）
2026人工智能发展白皮书.pdf（160页）
Claude Code 从入门到精通.pdf（150页）
Skill 蓝⽪书 2026.pdf（100页）
2026AI安全产业核心洞察.pptx（100页）
人工智能审计工具包应用与实践指南.pdf
Claude Code 学习手册.pdf（300页）
2026美国人工智能产业现状分析报告.pdf
面向 Token（词元）运营的大模型推理优化技术.pdf
欧盟《网络安全与人工智能行动计划》.pdf
AI Skill生态安全报告（2026上半年）.pdf
2026中国具身智能产业发展报告.pdf
中美通用人工智能发展比较研究.pdf
AI安全产业研究报告（2026）.pdf
2026人工智能治理白皮书.pdf
新加坡人工智能安全全景报告（2026）.pdf
人工智能管理系统的实施和审计：基于ISOIEC42001.pdf
2026年全球人工智能技术、政策、产业与投融资趋势全景洞察报告.pdf
人工智能的技术、运营与风险.pdf
AI大模型合规指南.pdf
GB∕Z 185-2026 人工智能 智能体互联 第1~7部分.pdf
2026年人工智能发展十大趋势.pdf
AI大模型安全评估及防护技术应用指南（2026）.pdf
中国AI Agent产业生态全景分析报告.pdf
2026年AI威胁态势报告.pdf
AI安全解决方案白皮书.pdf
AI生成内容安全及风控管理技术应用指南.pdf
智能体安全研究报告.pdf
OpenCode教程.pdf
AI安全：智能体安全新范式.pdf
人工智能实践：网络安全与取证领域的理论与应用.pdf
OWASP MCP Top10（2025）安全风险白皮书.pdf
下一代安全模式的生成式人工智能.pdf
政务领域人工智能大模型统一服务平台成熟度模型.pdf
大模型服务与应用安全评测技术规范.pdf
AI智能体：威胁分类、防御框架与落地实践.pdf
Hermes Agent 从入门到精通.pdf
人工智能 政务大模型系统技术要求.pdf
大模型服务安全白皮书.pdf
大模型面试手册（中文）.pdf
大模型工具大全.pptx
大模型评测幻觉检测.pptx
大模型能力技术培训.pptx
大模型的本地部署和微调.pptx
大模型与智能体安全.pptx
AI大模型评测能力建设及实践.pptx
大模型时代下的产品工程思路.pptx
-
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论，来说两句吧...