【国际视野】美国国家标准与技术研究院发布指南草案，帮助企业应对新兴网络安全风险

网络安全和基础设施安全局（CISA）通过联合网络防御协作组织（JCDC）与联邦、国际和私营部门的合作伙伴合作，牵头制定了人工智能（AI）网络安全协作手册。JCDC 是 CISA 内部的一个公私协作组织，利用国会在 2021 年《国防授权法案》（NDAA）中授予的权力，联合全球网络社区共同防御网络空间。JCDC 人工智能网络安全合作手册是 2024 年举行的两次桌面演习 (TTX) 的直接成果，这两次演习汇集了联邦、行业和国际合作伙伴。第一次桌面演习于 2024 年 6 月在弗吉尼亚州雷斯顿的微软公司举行，通过应对人工智能（AI）网络安全事件带来的独特挑战奠定了基础。这项基础性工作为操作手册的早期开发提供了参考。第二次TTX 于 2024 年 9 月在加利福尼亚州旧金山的 Scale AI 总部举行，通过模拟金融服务领域的人工智能网络安全事件，帮助参与者进一步完善操作手册。CISA 将大约 150 名参与者（包括来自美国联邦机构、私营部门和国际政府组织的代表）的实时反馈纳入了游戏手册。这些演习强调了加强业务协作和信息共享的必要性，最终形成了操作手册的最终版本。

JCDC 合作伙伴应表2，自愿共享有关人工智能网络安全事件或漏洞的信息。其他利益相关方可通过电子邮件与 JCDC 共享自愿信息，电子邮件地址为 [email protected]。该核对表有助于突出可操作的数据，以简化 JCDC 与合作伙伴之间的共享流程。附录 A 提供了表2 的填充示例。 JCDC 鼓励合作伙伴遵循核对表，同时也欢迎共享任何相关信息，即使未满足核对表的所有要点。

此外，使用网络表格自愿报告事件或产品或服务中的漏洞是通过加密渠道向 CISA 提供所有相关信息的好方法。如果使用网络表格，JCDC 合作伙伴应通过电子邮件通知 JCDC 代表。

表 2：主动信息共享

图 1：CISA集体行动方法

作为从 JCDC合作伙伴收集信息的中心枢纽，CISA管理和协调所需的集体行动（见图1）。当 CISA收到有关网络安全事件或漏洞（包括人工智能特有的事件或漏洞）的信息时，它首先会将信息输入中央跟踪平台进行汇总和验证。在此阶段，CISA会删除任何可能不构成威胁的合法或良性指标，并确保从数据集中删除任何可识别受害者身份的信息，以保护隐私。

接下来，CISA继续分析和丰富数据。这包括确认指标是否与特定合作伙伴（如云服务提供商或互联网服务提供商）相关，以酌情促进协调。可利用CISA 现有数据进一步丰富信息。CISA会进行额外的分析，通过透视相关信息来获取更多见解。

然后，CISA可考虑进行内部和外部协调，根据共享的信息采取适当的防御行动。收集、匿名和丰富的指标可输入入侵检测系统，以保护联邦文职行政部门（FCEB）机构、州、地方、部落和领土（SLTT）实体以及关键基础设施资产。在某些情况下，可为联邦文职行政机构实施域块，以应对威胁。

如其 TLP级别所示，信息还可与行业、美国联邦政府、SLTT和国际合作伙伴共享，以支持网络防御目的。在共享信息的过程中，JCDC合作伙伴可能会获得并进一步分享更多的见解，从而在所有相关合作伙伴之间形成多向信息流。这种丰富的信息流可促成分析交流、公共网络安全咨询（与JCDC 合作伙伴协调）以及更广泛的跨部门合作，共同应对网络威胁。

图 3：CISA信息共享与协作流程

加强协调涉及在常规操作无法完全解决或理解网络安全问题时加强信息共享和扩大合作。在这种情况下，CISA和 JCDC合作伙伴可选择实施额外机制并增加沟通频率，以改进事件响应和补救工作。这些活动都是自愿的，并根据情况按需启动。

CISA 对合作伙伴共享的信息进行评估，决定采取何种行动，并根据情况的变化调整加强协调的程度。CISA在很大程度上依赖于与JCDC 合作伙伴的合作，以评估哪些事件值得进一步分析并确定加强协调的优先次序。附录B 中详述的PyTorch 依赖链受损事件就是一个需要加强协调的活动实例。

信息共享有助于 CISA采取各种有针对性的行动来加强网络安全。这些行动可以单独执行，也可以合并执行，具体取决于已识别威胁或漏洞的性质。这一过程本身是动态的，涉及多个利益相关者之间的合作，通常是同时进行的。CISA采用灵活、综合的方法，根据不断变化的威胁情况调整应对措施，包括但不限于：

作为加强协调的一部分，JCDC与联邦政府合作伙伴密切合作，对重大人工智能网络安全问题做出统一回应。通过这种合作，联邦政府的能力得到了统一，确保在应对重大威胁或漏洞时考虑到所有可用资源和专业知识。与联邦政府合作伙伴协调有助于确保CISA 和 JCDC采取的行动与更广泛的政府工作相辅相成，从而加强事件响应和补救战略的整体有效性。

JCDC人工智能网络安全合作手册为人工智能社区（包括人工智能提供商、开发商和采用者）自愿共享信息提供了重要指导，以加强集体防御，应对不断变化的网络威胁。随着人工智能应用的加速，人工智能系统的威胁范围不断扩大，带来了新的漏洞和安全挑战。本手册将定期更新，通过政府、行业和国际合作伙伴之间的积极合作来应对这些挑战。

JCDC 合作伙伴应将该手册纳入其事件响应和信息共享流程，根据需要进行迭代改进，并提供反馈。请参阅 “问题与反馈 ”部分的说明。通过持续的合作和实际应用，这种持续的投入可加强和调整该手册。

为加强合作与参与，JCDC邀请人工智能安全专家和利益相关者考虑采取以下行动：

通过人工智能社区的积极参与，该手册将成为应对未来人工智能安全形势的动态资源。随着关键基础设施所有者和运营商越来越多地使用人工智能工具，业务合作在加强网络安全和推进人工智能技术的安全应用方面发挥着至关重要的作用。

以下是基于 2023年 1 月提交给MITRE ATLAS 的真实案例研究 “通过提示注入在 MathGPT 中执行代码 ”的自愿信息共享核对表填写示例。该事件涉及一名行为者利用提示注入漏洞访问应用程序主机系统的环境变量和GPT-3 API 密钥。利用这一访问权限，该行为者对MathGPT 执行了拒绝服务（DoS）攻击，MathGPT是一个采用 GPT-3语言模型回答用户生成的数学问题的公共应用程序。该攻击还可能耗尽应用程序的API 查询预算或完全中断其运行。

尽管 MathGPT团队后来已经缓解了此次事件中发现的漏洞，但本案例研究仍被用于填充自愿信息共享清单。本示例以MathGPT 开发人员在检测到攻击后不久对攻击做出响应的视角编写，就像事件仍在活动一样。

为了说明现实世界中的威胁行为者在日常操作中可能会使用哪些方法来利用人工智能系统，以及这些技术与传统的网络入侵有何不同，我们研究了MITRE ATLAS 关于Clearview AI 配置错误的案例研究。

Clearview AI 开发了一种面部识别工具，可在公开照片数据库（如Facebook、谷歌和YouTube）中搜索匹配的照片。该工具已被执法机构和其他实体用于调查目的。

然而，Clearview AI 的源代码库虽然有密码保护，但配置不当，允许任意用户创建账户。这一漏洞使外部研究人员能够访问包含Clearview AI 生产凭证、云存储桶密钥（包含70K 视频样本）、应用程序副本和Slack 标记的私有代码库。

通过访问这些训练数据和凭证，恶意行为者可以破坏未来的应用程序版本，导致部署模型中的面部识别功能降低或被恶意破坏。这一案例突出表明，需要以超越传统网络安全措施的方式确保人工智能系统的安全。此类系统不仅需要稳健的卫生措施，如强制执行最小权限访问、多因素身份验证以及严格的监控和审计，还需要针对人工智能技术带来的独特风险量身定制特定的保障措施。

在本案例中，安全研究人员通过对抗性方法展示了Clearview AI 系统中的漏洞，详情如下：

为了说明在非例行或临时信息共享不足的情况下，增强协调情景下可能发生的过程，我们研究了MITRE ATLAS 的另一个案例研究：“PyTorch依赖链受损”。

在此案例中，一伙身份不明的恶意行为者通过破坏与PyTorch 预发布版本相关的Linux 软件包，实施了一次供应链攻击。15他们将恶意二进制文件上传到代码库，该二进制文件与合法的PyTorch 依赖程序同名。结果，PyPI软件包管理器（pip）无意中安装了恶意软件包，而不是正版软件包。这种被称为 “依赖关系混淆 ”的技术暴露了使用受影响的 pip安装版本软件包的 Linux机器上的敏感信息。

攻击通过以下步骤展开，详情如下：

MITRE ATLAS 网站上有一份完整的TTPs 演变清单，威胁者可能会使用这些TTPs 来攻击人工智能系统，这些TTPs 是由人工智能安全社区共享的真实世界攻击和现实红队演习提供的。

遭遇人工智能网络安全事件的组织可通过多种自愿渠道向联邦政府通报事件，以请求技术援助、报告犯罪或参与业务合作。人工智能社区还开发和部署了更多自愿共享信息的非正式机制，以促进社区对前沿人工智能事件的认识和讨论。除了本手册中描述的联系CISA 的方法外，各组织还应考虑以下选项。

以下文件提供了组织可参考的其他信息资源，以了解人工智能系统的网络安全。