前沿 | 人工智能安全合规治理要求与实践

文 | 北京天融信科技有限公司 吴潇 王鹏 晋钢

网络安全合规意识是驱动网络安全防护措施有效落实的关键因素。当前，人工智能应用日益火爆，在给社会生产及人民生活带来便捷的同时也引发了多种安全问题，如利用生成合成技术生成虚假内容实施网络诈骗等。为有效防范人工智能创新带来的安全问题，迫切需要增强组织机构在人工智能应用研发及运营中的安全合规意识，以促进保护训练数据与算法模型等安全合规义务的执行。国家坚持发展与安全并重，对生成式人工智能实行包容审慎监管机制。既避免“过度监管”抑制人工智能创新发展，也防范“野蛮生长”引发重大安全问题。人工智能安全合规的本质是根据不同层面的监管要求，综合运用安全管理机制与安全技术防护措施，实现人工智能应用快速发展与恰当风险管控的动态平衡。因此，人工智能应用安全合规不仅是技术问题，更是维护国家信息安全与社会稳定的战略需求。通过梳理与人工智能应用安全相关的监管要求及标准规范，提炼组织机构应履行的重要安全合规义务，并从科技伦理安全管理、算法安全管理、数据标注安全管理、数据集保护、算法模型保护、应用保护等多个方面对具体安全合规内容进行解析说明，供组织机构在开展人工智能应用安全合规实践时进行参考。

随着全球人工智能规模化建设和应用加速，人工智能应用在推动各领域产业升级的同时不断引发多种安全风险。为促进组织机构有效防范人工智能可能出现的内生及衍生安全问题，确保人工智能安全与发展并进，保障人工智能相关技术创新及应用发展符合法律法规、伦理道德和社会价值观等，基于网络安全、数据安全、个人信息保护等法律法规框架，国家互联网信息办公室、公安部等主管部门先后制定与互联网信息服务、网络信息内容治理、算法推荐管理、深度合成管理、科技伦理审查、生成式人工智能服务等相关的监管要求。同时，国家标准化管理委员会、中国人民银行等国家及行业标准管理部门也陆续发布与算法安全评估、生成合成内容标识、算法应用信息披露等方面相关支撑落地实施的标准指南，整体形成了法律法规、监管要求及标准规范相呼应的人工智能应用安全合规体系。

人工智能系统生命周期，可能面临来自训练数据、算法模型、应用开发及运行等不同层面的多种安全风险。在监管要求方面，依据《网络信息内容生态治理规定》进行网络信息内容治理，可以防范训练数据和人工智能应用输出内容中包含违法不良信息安全风险。遵循《互联网信息服务算法推荐管理规定》要求，能够缓解算法模型中存在偏见歧视、“信息茧房”效应、未成年人沉迷网络等安全风险。落实《互联网信息服务深度合成管理规定》和《人工智能生成合成内容标识办法》，能够有效应对因为人工智能系统误用滥用带来网络身份盗用、内容传播无法快速溯源等安全风险。践行《生成式人工智能服务管理暂行办法》要求，能够防范训练数据违规获取、数据标注结果质量差、用户个人信息权益保护不当等安全风险。参照《科技伦理审查办法（试行）》开展科技伦理审查程序，可有效预防失控性风险、社会性风险、侵权性风险和歧视性风险等人工智能伦理安全风险。

此外，在标准指南方面，参照《生成式人工智能服务安全基本要求》（TC260-003）和《网络安全技术 生成式人工智能预训练和优化训练数据安全规范》（GB/T 45652-2025），通过执行语料安全要求、模型安全要求、预训练数据及优化训练数据处理活动的安全要求等，进一步防范训练数据质量参差不齐、训练数据及应用输出内容中包含违法不良信息、个人信息泄露等安全风险。参照《人工智能算法金融应用信息披露指南》（JR/T 0287- 2023）对算法模型、训练数据等相关信息进行合法披露，可以有效缓解算法模型可解释性差的安全风险。严格执行《网络安全技术 人工智能生成合成内容标识方法》（GB 45438-2025）强制标准，采用显式标识与隐式水印相结合的技术手段，构建生成内容溯源体系，切实阻断虚假信息传播扩散路径。

组织机构在开展人工智能应用研发及运营过程中，应严格遵循法律法规、监管要求与标准规范，建立并不断完善科技伦理安全管理、算法安全管理、数据标注安全管理、人工智能系统生命周期安全管理等安全管理机制，并根据实际应用安全防护需求，及时建立且持续提升数据集保护、算法模型保护、应用保护等安全技术防护措施，有效落实人工智能应用安全合规相关职责。

科技伦理安全管理。科技伦理风险管理缺失可能引发重大安全隐患，以美国Character.AI公司2024年10月遭遇的诉讼案件为例。该人工智能系统在对话中向未成年人提供“通过杀害父母解除电子产品使用限制”的极端解决方案，暴露出科技伦理管控机制的严重缺位。符合科技伦理（审查）委员会设立条件的组织机构，需要从科技伦理（审查）委员会组织架构以及工作职责等方面开展科技伦理（审查）委员会建设。同时，应制定科技伦理（审查）管理相关章程，并根据人工智能相关研究及应用开发情况，在具体项目实施过程中按照上述管理要求执行科技伦理审查相关工作，其中，包括开展伦理安全风险防范管理。

算法安全管理。组织机构应及时完成与算法备案相关的三类手续，包括备案手续、备案变更手续及注销备案手续。在算法备案过程中，组织机构需要开展算法自评估并提交报告，算法自评估主要包括算法主体责任评估、信息服务评估、权益保护评估以及针对五类算法技术开展的特性评估等。同时，涉及机器学习算法相关的，还需考虑依据《信息安全技术 机器学习算法安全评估规范》（GB/T 42888-2023）适时完成机器学习算法技术或者服务安全评估。此外，为提升算法应用透明度及安全性，组织机构可参考《人工智能算法金融应用信息披露指南》（JR/T 0287-2023）对人工智能应用中所使用到的具体算法信息进行真实准确地披露。具体披露行为可在人工智能系统首次上线时、因算法机制导致重大风险事件时，或者算法模型发生重大变更时按需开展。披露内容可包含算法组合类信息、算法逻辑类信息、算法应用类信息、算法数据类信息、算法主体类信息、算法变更类信息等。

数据标注安全管理。首先，要进行数据标注团队建设，应明确数据标注任务中所需要的不同岗位角色与工作职责，针对具体数据标注任务，分析相关标注岗位角色人员所需具备的知识背景、专业技能、工作经验等条件要求，从数据标注人员能力档案中初步挑选符合相关要求的人员参加标注安全培训及考核，最终在通过培训考核的人员名单中选定承担本次标注任务的具体人员等。其次，应制定数据标注规则，应在遵循法规及标准规范要求的基础上，结合数据标注具体要求，制定包含功能性数据标注和安全性数据标注的具体标注规则，规则应细化明确、可操作性强，包括标注目标、标注方法、数据格式等具体内容。最后，应进行数据标注结果检验管理，组织机构应按照一定规模比例对标注结果进行核验，确保标注结果交付质量满足标注任务说明中相关要求。根据标注任务所应用的具体场景、任务规模等特点，可采用全人工核验或自动化核验与人工核验相结合的方式进行。

人工智能系统生命周期安全管理。组织机构应在已有开发安全管理、应用系统上线安全管理等安全管理要求的基础上，针对人工智能系统开发及应用技术特性，参照相关法规监管及标准规范要求，形成覆盖人工智能系统从设计开发到下线退役全生命周期的安全管理要求，并在人工智能系统开发和应用过程中贯彻执行。根据人工智能系统应用场景的不同，组织机构在具体对其开展生命周期管理时，也可能存在差异，此处以大模型类人工智能系统应用为例，对其生命周期安全管理进行简要说明。参考《大模型系统安全测评要求》（T/ISEAA 006-2024），大模型系统生命周期划分为设计开发、测试、部署与运行、退役4个主要阶段，不同阶段的安全要求各有侧重点。在设计开发阶段安全管理中，应结合项目实际情况和具体需求，从数据收集、数据清洗和数据标注不同层面明确数据处理安全要求，以及与算法模型保护和输入输出内容相关的安全要求。在测试阶段安全管理中，可从对抗性测试等方面规定模型评估安全要求，从模型更新安全校验机制等方面规定模型更新安全要求。在部署与运行阶段安全管理中，可从模型部署、攻击检测、运行监测、系统管理、变更管理等方面规定相关安全要求。在退役阶段安全管理中，可从退役技术验证、退役过程安全审计等方面形成模型退役安全要求，从数据清除、个人信息处理等方面形成数据删除安全要求。

人工智能安全应急处置管理。组织机构一是可在整体上遵照已有的网络安全事件管理制度规范，执行人工智能安全事件分类分级管理及应急处置流程，如可对算法模型安全相关事件参照安全事件的起因、威胁、攻击方式、损害后果等因素，将其归类为网络攻击事件或数据安全事件或信息内容安全事件等。二是应制定与算法模型等人工智能安全相关事件的应急预案，明确在如训练数据泄露、算法模型被篡改、算法模型输出非法内容等场景下的详细应急处理流程。三是定期对人工智能安全相关人员进行应急预案培训以及开展应急演练，并根据实际演练结果对应急预案进行调整与完善。

数据集保护。数据集合规获取是指当组织机构采用不同方式，从不同渠道进行训练数据、测试数据等数据集获取时，应采取相关措施确保获取过程合法合规。2023年，美国《纽约时报》将开放人工智能研究中心（OpenAI）和微软告上法庭，指控这两家公司未经授权使用该媒体数以百万计的文章作为ChatGPT等人工智能聊天机器人的训练数据。数据集安全检测包括违法不良信息内容检测与过滤，通过采取关键词匹配、分类模型、人工抽检等方式，以检测数据集中是否包含属于11类违法信息内容及9类不良信息内容，如检测结果发现仅少量条目中包含违法不良信息内容的，可在充分过滤后使用该训练数据，但若检测结果显示包含大量违法不良信息的，则应考虑弃用该训练数据。另外，组织机构在使用所获取的数据集前，还应考虑开展数据集异常检测，以有效衡量数据集的准确性与一致性等。当组织机构所获取的数据集存在数据重复、格式不规范、数据条目内容有缺失值等情况时，可考虑采取数据清洗技术来提升数据集质量和可用性。当组织机构所获取的数据集规模不足或具体数据内容不能满足训练使用需求时，可考虑对数据集进行数据增强处理。数据增强通过对数据集中样本数量较少的数据样本类别，进行各种变换操作，形成新的数据样本，从而实现数据集的规模提升或样本类型增加等目的。同时，组织机构也可采用数据集平衡技术来处理无法规避的数据偏见问题。通过对数据集进行平衡处理，可以降低不同类别的数据样本之间的不平衡性，确保没有某一类型的样本总量显著高于其他类型的数据样本总量。最后，组织机构还可以综合利用匿名化、差分隐私、隐私计算等多种技术对数据集进行安全保护。

算法模型保护。一是进行鲁棒性测评与增强，组织机构可以根据不同的模型类型，利用专业测评数据集或者自研测评数据集等方式，进行分布外鲁棒性测评或对抗性鲁棒性测评，并可综合运用多种技术来增强模型鲁棒性，包括数据增强、对抗训练、对抗攻击检测等。二是评估与缓解大语言类模型“幻觉”，鉴于数据集、模型自身及具体应用情景都可能导致大语言模型输出产生“幻觉”，在具体“幻觉”评估时，应选择使用针对数据集、模型或应用情景的不同幻觉来源层面的相关评估方法。同样，组织机构可采取多种方法缓解大语言模型“幻觉”。如针对数据集方面，可以采取数据清洗、数据增强等操作。针对模型方面，可以采取调整模型结构、进行模型训练和微调、使用专家模型等缓解措施。针对具体应用情景方面，可以采取通过提示工程进行引导、基于事实进行指导等缓解措施。三是进行偏见性测评与缓解。在偏见性测评方面，已有针对职业、年龄、性别、宗教、种族、语言等不同偏见类别的测评数据集，组织机构可基于自身需求，选择使用相关的偏见评估数据集完成具体评估工作。如可使用StereoSet英文数据集对大语言模型进行职业、种族与性别等偏见测评。也有多种技术可以缓解模型偏见，如在预训练阶段，可以通过调整模型参数权重，应用正则化技术等，确保模型预测结果符合句子编码器关联测试指标（Sentence Encoder Association Test，SEAT）等通用偏见评估基准。此外，还有围绕词向量表示、提示词工程等相关模型偏见缓解技术。四是对开发过程安全进行有效防护，防护对象包括人工智能系统研发过程中所使用到的全部开发工具（如机器学习框架、开发工具链等）和开发与测试环境，如在2025年3月，开源跨平台大模型工具Ollama被爆由于其默认配置存在严重缺陷，极易导致未授权访问与模型窃取等高危安全隐患。具体来说，应定期或按需对全部开发技术工具集进行安全漏洞检测与加固及版本控制，并在测试阶段对开发技术工具进行代码审计和渗透测试。同时，还应基于最小化授权原则对开发环境和测试环境进行严格的访问控制，以防止算法模型等遭受非授权的访问或恶意破坏等。

应用保护。组织机构应在提供人工智能系统应用过程中采用认证授权与审计相关安全技术措施，以保障仅有合法授权用户才可以正常使用人工智能系统，预防人工智能系统遭受非法访问。此外，还应考虑通过应用安全防护网关技术对人工智能系统的输入输出内容进行有效保护。当安全防护网关检测到用户输入内容中包含攻击指令或违规信息时，可实时进行拦截及告警，并提醒用户修改输入问题。2016年3月25日，微软推出聊天机器人Tary,但因缺少对用户输入内容的安全过滤检测机制致使Tary在短时间内接收到海量恶意及歧视性信息，并快速学会了发表诸如支持纳粹、反对女性主义等不当言论，引发大量用户不满，导致微软当天就关闭了Tary聊天服务。另外，当组织机构的业务应用涉及通过人工智能相关技术面向公众用户群体提供诸如生成合成文字、音视频、图像、虚拟现实场景等服务时，组织机构还应对生成合成内容进行显式或隐式标识，以支撑实现内容制作与传播各环节的追踪溯源，有效防范对人工智能生成合成技术的滥用。显式标识是能够被用户明显看到或听到的明显标识，企业通过添加文本、音频等人工智能生成合成内容显式标识或交互场景界面显式标识，提醒用户所访问或浏览的内容属于人工智能生成合成内容。隐式标识是用于记录生成合成内容方面相关信息，是通过技术手段在文件数据中附加的、不会轻易被用户明显感知到的标识信息。同时，组织机构还应定期开展安全合规要求解读、安全技能提升等不同主题培训，不断增强整体员工的安全意识和具体安全技能，以确保相关人员能够有效执行与其工作职责相关联的安全合规工作。

为促进人工智能应用研发，有效防范人工智能应用安全风险，组织机构应遵循以人为本、智能向善的安全方针，聚焦公平性、可解释性、透明性、可靠性、可问责等安全目标，针对信息检索类、个人化推送类、调度决策类、内容过滤类、排序精选类等不同应用场景，在人工智能系统生命周期的不同阶段，实施算法安全管理、数据标注安全管理、人工智能系统生命周期安全管理等安全管理机制，以及运用数据集安全检测、鲁棒性测评与增强、应用安全网关防护、安全意识教育与技能培训等安全技术措施，以有效落实人工智能应用安全合规治理实践。

随着人工智能技术迭代加速，新型安全风险持续演变，安全监管要求与标准指南的内容将会持续细化与完善。作为国家安全防线的重要组成部分，人工智能安全合规治理具有长期性、系统性特征，组织机构需建立动态调适机制，紧密跟踪外部监管政策演进、技术发展前沿及自身应用迭代，及时优化治理策略与实践路径，确保人工智能系统始终在合法合规轨道上运行，切实维护国家安全和社会稳定。

（本文刊登于《中国信息安全》杂志2025年第4期）

分享网络安全知识 强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号