吴世忠院士：统筹发展和安全 积极应对人工智能治理新挑战

文 | 中国工程院院士、国家保密科学技术委员会主任 吴世忠

人工智能作为引领新一轮科技革命和产业变革的战略性科技，正深刻改变和全面重塑经济发展、社会进步、国家安全和世界格局，成为大国博弈赢取未来的制高点。当前，人工智能正处于技术创新的井喷时期与安全治理的探索阶段，发展机遇前所未有，治理挑战前所未遇。在以中国式现代化全面推进强国建设、民族复兴伟业的关键时期，“加快发展新一代人工智能是事关我国能否抓住新一轮科技革命和产业变革机遇的战略问题”。我国应坚持统筹发展和安全，积极主动应对治理新挑战，开创发展新格局。

深刻认识人工智能发展形势

近年来，人工智能发展呈现指数级技术迭代、爆发式应用增长、系统性大国竞争等新态势。

第一，技术发展日新月异。

人工智能核心技术持续突破，不断拓展智能科学前沿，刷新认知边界。一是基础模型向通用化演进。大语言模型仍是技术攻坚重点，以ChatGPT、通义千问等为代表的大语言模型在多模态理解、复杂推理等方面的能力显著提升，驱动“窄人工智能”向高阶智能迈进；同时，小模型因在边缘设备上的低功耗、高响应优势，与云端大模型协同互补，推动中心化算力依赖向分布式智能拓展。二是多模态融合逼近人类感知。视觉、语言、语音的跨模态交互成为技术热点，通过视觉基础模型加语言模型的联合训练，人工智能已能理解图像中的隐含语义，甚至生成符合物理规律的视频内容。具身智能领域，机器人通过融合视觉、触觉，基于反馈与强化学习，已能在复杂环境中动态决策。三是底层支撑技术持续突破创新。在算法层面，稀疏化训练、混合专家模型架构（MoE）等技术大幅降低模型训练成本；在算力层面，全球人工智能芯片竞争白热化，英伟达凭借CUDA（统一计算设备架构）生态占据主导，华为昇腾、寒武纪思元等国产芯片通过架构创新逐步缩小差距；在数据层面，合成数据与隐私技术等大范围应用减少了标注数据短缺与合规困难的问题。

第二，应用推广势不可挡。

人工智能技术应用全面深化，正以前所未有的速度推动社会经济各领域变革发展。一是赋能科学研究。AlphaFold（一种通过深度学习技术预测蛋白质的三维结构的人工智能模型）加冕诺贝尔奖开启了人工智能加速科学发现的新范式，通过海量数据挖掘、复杂关系建模和自主推理能力，人工智能正全面提升研究效率与精准性。二是推进产业升级。正如电力、信息技术等推动时代变革的技术一样，人工智能正在通过自动化、数据处理和智能决策重塑产业格局，柔性生产、个性化定制等新形态层出不穷，“人工智能+”效益正在显现。三是改善民生福祉。小到智能穿戴设备提升健康管理水平，大到助力政府升级公共服务，人工智能正“飞入寻常百姓家”，切实提高公众生活质量。四是促进社会治理。人工智能已成为推进国家治理体系和治理能力现代化的重要支撑，不仅深度赋能城市治理，推进智慧城市建设，同时在公共安全方面构建智能化预警防控体系，推动高危行业“机器换人”向更大范围升级，大幅提升治理效能。

第三，大国竞争日趋激烈。

人工智能被各国视为改变国家力量对比、重塑国际格局的战略技术，引发全球范围竞逐升级。一是技术主动权。美国依托科技巨头和顶尖研究机构，持续强化算法创新和基础研究优势；我国充分发挥应用场景丰富和数据资源充沛特点，形成差异化竞争力；欧盟及日韩等通过加大研发投入，加速追赶步伐。二是产业控制权。美国凭借硅谷创新生态，持续吸引全球资本和顶尖人才，发展全栈产业控制；我国依托庞大的市场规模和创新应用，推动人工智能产业化纵深发展；欧盟则通过构建严格监管体系，着力打造伦理与安全的竞争优势。三是规则主导权。美国倡导市场驱动的最佳实践；我国构建发展与安全并重的治理体系；欧盟则强调基于人权保护的伦理规范。四是治理话语权。受地缘政治、文化传统、制度差异等影响，国际社会在人工智能治理领域尚未形成广泛共识，特别是大国间的信任不足，影响全球协作和可持续发展。

准确把握人工智能安全风险

人工智能安全风险已成为全球治理的重要议题，也是构建现代化治理体系的逻辑基点。当前，人工智能安全风险呈现多维度、复合型特征，需要国际社会共同应对。

第一，内在的模型安全风险。

人工智能的内生安全风险主要源于模型设计和运行机理，突出体现在：一是不可解释性风险。大语言模型内部采用黑灰盒推理模式，决策过程不透明，目前仍无法完全理解和验证其行为。二是弱鲁棒性风险。深度神经网络的非线性，叠加训练数据与推理场景的分布差异，导致模型易受干扰，产生不稳定输出。三是“幻觉”风险。基于概率预测的生成机制使大语言模型在信息筛选和内容生成过程中，可能产生与客观事实相悖的输出。这种“幻觉”现象在专业领域应用中可能导致决策失误和信息误导。四是不可控性风险。随着模型能力的提升，已经出现欺骗指令、规避监管、抗拒监控等异常行为，自主性增强带来的失控风险客观存在。

第二，新兴的伦理安全风险。

与人类通过情感体验、社会互动和文化传承长期培塑形成的伦理规范不同，人工智能的学习主要基于数据驱动的模式识别，这种方式缺乏意识、情感和道德规训，容易引发伦理安全风险。一是伦理失范。人工智能生成内容正在侵蚀真实世界，虚假信息也在挑战社会信任体系，再加上广泛的自主决策容易模糊责任归属，正在引发各类道德困境。二是意识形态渗透。人工智能训练数据鱼龙混杂，隐含的社会偏见被算法吸收放大，将威胁社会公平。全球化背景下，数据偏见还可能导致特定文化价值观的隐性传播。三是歧视与偏见固化。模型系统性地复制历史数据中的性别、种族、地域等歧视模式，更具隐蔽性和扩散性，可能加剧社会结构性不平等。四是社会关系重构。智能化替代不仅冲击就业市场，更可能改变人际互动模式。聊天机器人的情感模拟、具身智能的社会角色替代，正在重塑人类社会的交往方式和情感联结，带来深层次的社会伦理挑战。

第三，衍生的应用安全风险。

人工智能广泛融入教育、医疗、交通等关键领域，已带来复杂的应用安全风险。一是社会安全风险凸显。数据泄露和滥用、知识产权纠纷、深度伪造诈骗、推荐算法滥用等正给社会治理带来新挑战。二是数据安全风险突出。数据投毒和污染、恶意样本干扰等容易导致数据“喂养”出的模型出现决策偏差。三是网络安全风险持续攀升。自动化工具降低攻击门槛，自适应恶意软件提升攻击隐蔽性，人工智能赋能使网络攻击进入智能化新阶段，直接威胁关键信息基础设施的安全运行。

第四，潜在的国家安全风险。

人工智能技术对国家安全构成全新挑战。在政治安全领域，人工智能可能被用于制造虚假信息，操控社会舆论，甚至干扰政治进程；在文化安全层面，人工智能生成内容可能忽视本土文化特色，传播文化偏见，冲击传统价值观；在军事安全领域，智能武器的扩散将改变战争形态，对现有国际军控体系形成冲击，其失控风险已在俄乌冲突等实战中显现；在安全保密战线，智能化手段正被广泛应用于情报获取和分析、窃密与反窃密，安全保密工作面临全新挑战。

系统研判人工智能国际治理动向

人工智能的军民两用性、泛在通用性及自主进化性等特点给国际治理带来新挑战。当前国际社会在治理理念、机制和路径上尚未形成共识，竞合博弈持续升级。

第一，治理平台之争加剧。

全球人工智能治理平台呈现多元化竞争格局，各主体基于不同定位和利益诉求展开激烈竞争。联合国作为最具代表性的多边平台，于2024年通过《抓住安全、可靠和值得信赖的人工智能系统带来的机遇，促进可持续发展》决议，并成立高级别顾问小组，致力于构建包容性的全球治理架构；七国集团（G7）推出的“广岛进程”和经济合作与发展组织（OECD）制定的《人工智能原则》等，则体现了多方平台试图在数据治理、国际合作和法规协调等领域抢占主导权的战略意图；值得注意的是，科技企业主导的“全球人工智能伙伴关系”（GPAI）、“前沿模型论坛”（Frontier Model Forum）等，正通过制定行业标准和最佳实践等方式参与全球治理。平台之争的核心在于合法性与效率的权衡：多边机制具有广泛代表性但协调难度较大；多方机构效率较高但缺乏包容性，尤其忽视发展中国家的诉求；企业平台则优先考虑市场扩张，在风险防控方面也存在短板。

第二，治理方案之争加速。

全球人工智能治理方案呈现差异化发展态势，形成了以中国、美国和欧盟为代表的三大治理范式。中国坚持“发展和安全并重”的治理理念，构建了政府主导、多元协同的动态监管体系。美国推行“创新优先、事后规制”的市场驱动模式，依靠行业自律与分散立法来支持技术快速迭代。特别是当前，其去监管倾向可能进一步放大技术发展带来的系统性风险。欧盟采取“立法先行、监管从严”的预防性原则，以《人工智能法案》为基础建立风险分级框架，强调人权保护与合规优先，虽规范清晰但创新活力受限。目前，原有的“三足鼎立”正向中美“两元竞争”演变，反映了智能时代平衡发展和安全这一全球性难题的复杂性。

第三，治理议程之争趋紧。

各主要国际组织和国家集团基于不同治理理念推动各自的优先事项。联合国强调包容性与可持续发展，其《全球数字契约》倡导建立开放、自由、安全和以人为本的数字未来，通过“未来峰会”促进各方积极行动，跨越智能鸿沟。西方国家主导的伦敦、首尔和巴黎人工智能峰会聚焦安全与技术标准，试图通过技术性议题设置掌握国际规则制定主导权。七国集团的“广岛进程”关注人工智能安全与伦理标准，特别强调透明性与问责制。国际标准化组织（ISO）和国际电工委员会（IEC）等则致力于通过制定统一技术标准来促进全球监管协同。议程分化反映了国际社会在人工智能治理重点上的深刻分歧：发达国家更关注技术风险防控和规则主导权，而发展中国家则更重视发展权和技术普惠。

如何有效整合多元治理进程，平衡不同主体的合理诉求，构建兼具包容性和执行力的全球治理机制，已成为国际社会亟待解决的重大课题。

主动应对人工智能治理挑战

我国在三十多年的网络安全和信息化发展中积累了宝贵经验，为人工智能治理奠定了坚实基础。党中央前瞻布局智能时代的整体规划，依托《人工智能安全治理框架》构建监管体系，通过“人工智能+”行动计划为发展应用保驾护航，并以《全球人工智能治理倡议》等贡献国际治理智慧。在当前技术突破、应用爆发、治理探索的关键窗口期，要始终坚持统筹发展和安全，主动迎接治理新挑战，努力开创发展新格局。

第一，加强统筹规划，以技术和应用创新促进双向赋能。技术突破层面，发挥体制优势，集中力量锚定目标突破技术“点”。持续攻关算力、算法等重点领域，推动产学研用合作，着力破解制约我国人工智能高质量发展的技术“卡点”“堵点”。产业协同层面，发挥组织优势，以重大工程为牵引打造产业“线”。统筹推进算力网络、数据资源、基础模型和能源保障等基础设施建设，避免资源分散和低水平重复建设。生态构建层面，发挥政策优势，引导技术与应用双向赋能拓展普及“面”。深入实施“人工智能+”行动计划，推动人工智能赋能千行百业，惠及千家万户。积极探索地方政府、科研院所、高校、企业等资源共用、人才双聘、成果共享的新模式，形成共建共享、优势互补、开放流动、协同高效的发展生态。

第二，加强安全监管，以风险防控为抓手提升治理能力。加强人工智能安全风险研究。深入研究技术伦理、算法偏见、数据滥用、深度伪造等重点问题，全面掌握技术演进中的安全动态，为精准施策提供科学依据。强化安全测评能力建设。构建自主可控的人工智能技术安全评估体系，制定覆盖全生命周期的技术标准、评估方法与测试工具，实现对人工智能系统安全性、可靠性与可控性的全面检验。实施重点领域分级分类精准防控。对党政机关、关键信息基础设施等核心领域建立专项防护机制。完善安全监测预警系统，强化应急响应能力，确保国家核心系统和关键数据安全。

第三，加强伦理规范，以中华文化为根基弘扬中国智慧。立足中华优秀传统文化，构建具有中国特色的人工智能伦理体系：一是深化“智能向善”的发展理念。深入挖掘中华文化中“天人合一”“仁者爱人”等思想精髓，为人工智能发展提供价值指引，推动技术从单纯追求效率的工具理性向兼顾伦理价值的全面发展转变。二是践行“以人民为中心”的发展思想。将增进人民福祉作为人工智能发展的根本目标，建立健全公众参与机制，确保技术发展始终“以人为本”。三是弘扬“和合共生”的文明理念。积极推动技术开源、普惠发展，不断弥合智能鸿沟。支持各国制定符合自身需求的应用规范，推动构建多元包容的人工智能伦理国际规范。

第四，加强国际合作，以中国方案为引领推进国际治理。落实人类命运共同体理念，坚定维护联合国主渠道作用，将推进人工智能国际治理作为展现大国担当和能力的重要抓手，提高参与国际治理效能。细化实施《全球人工智能治理倡议》，依托金砖国家、上合组织等，联合全球南方国家在治理议题上形成合力。持续推进世界人工智能大会等国际平台，推动产学研用各界参与国际治理进程，鼓励企业、高校、事业单位等参与全球技术标准、规则制定，以丰富的国内治理实践为全球人工智能治理提供中国方案。

人工智能作为引领未来的战略性技术，正以前所未有的磅礴之势重塑全球政治经济格局。面向未来，我国要始终坚持统筹发展和安全，以自主创新为根本动力，以风险防控为坚实保障，用更系统的治理理念、更灵活的制度设计、更开放的国际协作，为实现高质量发展筑牢安全屏障，为全球人工智能治理注入东方智慧，为人类文明进步贡献中国力量。

（来源：《中国网信》2025年第9期）