1. 美国NIST发布《AI红队测试标准》,强调大模型安全评估
2025年5月14日,美国国家标准与技术研究院(NIST)发布AI系统红队测试框架,首次纳入对大语言模型(LLM)的专项安全评估要求。
新增"提示注入攻击"(Prompt Injection)、"训练数据投毒"等测试场景
要求AI系统需通过"对抗性鲁棒性"(Adversarial Robustness)认证
中国政府很快会跟进出台相关的测试标准,行业需要做好准备。
2.AlphaEvolve:Gemini驱动的编码智能体
2025年5月15日,DeepMind推出AlphaEvolve,一种由Gemini大语言模型驱动的编码智能体。这款工具通过进化框架和自动化评估,持续优化算法设计,显著提升了计算效率和硬件性能。它在Google的实际应用中表现出色,例如优化数据中心资源和加速AI模型训练。
AlphaEvolve结合了Gemini Flash和Gemini Pro模型,通过自动化验证和评分,快速迭代算法设计。它在多个领域取得突破,包括优化矩阵乘法、硬件设计和数学问题求解,成果包括节省Google全球0.7%的计算资源和加速Transformer模型内核。
3.NVIDIA在多数据中心LLM训练方面取得突破
2025年5月9日,NVIDIA通过其官方技术博客宣布,在使用NeMo框架(版本25.02)和Megatron-Core(版本0.11.0)进行大型语言模型(LLM)多数据中心训练方面取得重大突破。这项技术实现了在地理上分离的数据中心之间高效协作,扩展效率高达96%,显著提升了大规模AI模型的训练能力。
技术要点
跨站点高效率:通过分布式训练,在数千个NVIDIA GPU上实现96%的扩展效率,克服了单数据中心在电力、冷却和空间上的限制。
高级通信策略:采用分层all-reduce(HAR)方法,通过三步梯度同步(ReduceScatter、AllReduce、AllGather)最小化数据中心间网络流量。
分布式优化器架构:通过本地权重更新和梯度减少,增强内存效率,降低通信开销。
分块通信:将数据中心间通信分块并与计算重叠,确保大规模训练的高效性和高延迟容忍度。
实际验证:成功训练340亿参数的Nemotron-4模型,在3072个GPU(两地各1536个,相距1000公里,21毫秒往返延迟)上实现49%的模型浮点利用率(MFU),接近单数据中心51%的基准。
这项突破解决了AI模型训练对计算资源的巨大需求,使研究人员能够开发更大、更复杂的模型。它推动了AI在自然语言处理、生成式AI等领域的进一步发展,为构建下一代AI超级计算平台奠定了基础。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...