2024年12月,国家发改委等部门联合印发《关于促进数据产业高质量发展的指导意见》,首次提出“高质量数据集”概念,支持企业开发高质量数据集。2025年2月,国家数据局在北京召开高质量数据集建设工作启动会,提出积极推进落实“人工智能+”行动,推动高质量数据集建设,高效赋能行业发展。
在人工智能快速发展的背景下,数据集的“高质量”不再局限于传统的数据质量,还需覆盖安全合规、伦理方面的要求。如何建设高质量数据、如何管理高质量数据集、如何运营高质量数据集等问题亟待解决。
在《DataOps实践指南(3.0)》中,我们首次提出AI-Ready DataOps概念及能力框架,为企业指明如何借助DataOps思想进行高质量的AI数据供给。
针对AI时代高质量数据集如何建设、管理、运营的挑战,我们通过吸收DataOps的思想和实践,创新性地提出了AI-Ready DataOps理念。
AI-Ready DataOps:也称“人工智能数据工程”,是指通过融合DataOps理念,面向人工智能场景进行高效、高质量、安全的数据供给。该理念鼓励企业加强内部组织和技术协作,通过标准化、流程化、敏捷化的方式向AI场景供给数据,打造高质量数据集。
AI-Ready DataOps能力参考框架覆盖从数据供给到多端消费的全链路,配套数据管理与运营平台、相关标准规范以及人才培养方案,充分支撑AI所需的高质量数据集的建设工作。
AI-Ready DataOps能力参考框架
1.研发阶段
是以开发“AI训练所需”的数据为目标,构建数据研发治理一体化流程。研发管理主要包括需求管理、设计管理及数据加工三部分。
● 需求管理:是对于AI所需数据的需求的管理,包括对需求的收集、分析及确认。
● 设计管理:是对数据准备工作中不同环节的策略、规范等的设计。
● 数据加工:是对清洗、标注、合成等核心数据加工环节的操作管理。
2. 交付阶段
交付管理阶段的目标是将研发好的数据安全、合规、高质量地供给给下游应用。交付管理主要包含测试管理及数据集发布两部分。
● 测试管理:是对数据测试方案的设计与管控。
● 数据集发布:是对数据组合成为数据集后的发布流程与发布版本管理。
3.运维阶段
数据运维阶段是以保障数据在使用过程中的高可用性、流程运转的稳定与高效性为目标,构建持续监控与动态管理的运维体系。运维管理主要包括监控管理和资源管理两部分。
● 监控管理:是对数据集的监控维度、监控指标及告警触发等方面的管理。
● 资源管理:是对企业数据、计算、存储资源的全面摸排、调度与优化。
4.运营阶段
价值运营阶段的目标是最大化发挥数据价值、高效利用组织资源,并持续优化数据服务。价值运营主要包括数据集管理、成本管理及持续优化三部分。
● 数据集管理:是对企业所有数据集资源的盘点、维护,及评价优化。
● 成本管理:是对数据开发运维全流程的成本评估及优化。
● 持续优化:是对整个数据工程体系的持续衡量及优化。
综合企业在构建AI-Ready DataOps能力中的实践和发展预期,我们将AI-Ready DataOps的实践成效划分为以下五个等级:
AI-Ready DataOps各能力等级特征
基于AI-Ready DataOps的目标,我们经过产业实践提出高质量数据集建设的五步法:企业从总体规划层面和具体数据集建设方面可按照“盘、建、研、管、运”(即,数据管理应用现状盘点、规范体系与技术体系建设、数据集研发、数据集管理、全链路运营)五步进行落地实施。
本文节选自于2025年5月15日在“2025 DataOps发展大会”上发布的《DataOps实践指南(3.0)》。
报告介绍及全文下载链接如下:
中国信通院DataOps工作介绍
中国信通院持续推进DataOps相关工作,2025年已启动DataOps国际国内标准互认“双证”评估。
01
“双证”评估介绍
“双证”评估基于DataOps国际标准和国内标准的异同,综合考虑产业实际,进一步拓展和细化评估范围,评估证书、评估报告也将全面升级。
亮点一 考察范围拓展
在《数据研发运营一体化 (DataOps) 能力成熟度模型》标准基础上,增加“ITU-T F.743.31 (ex F.DADOCM)‘Requirements for multimedia data asset development and operations(多媒体数据资产开发运营要求)’”标准的能力要求,面向全域数据DataOps能力进行评价。
亮点二 评估报告升级
参与“双证”评估,可同时获得国内标准评估报告(中文)和国际标准评估报告(英文)。国际标准评估报告将对标国际先进实践,提供改进建议等内容。
亮点三 评估证书升级
在国内DataOps标准评估的基础上,增加国际标准评估证书。
02
国际标准介绍
依托于我国相关行业的最佳实践和国内DataOps标准,2023年7月10-21日,在瑞士日内瓦举行的ITU-T(国际电信联盟)相关全会上,由中国信息通信研究院主导的DataOps国际标准“Requirements for multimedia data asset development and operations(多媒体数据资产开发运营要求)”获得成功立项,并于2025年1月24日在日内瓦ITU全会上获批通过(ITU-T F.743.31 (ex F.DADOCM))。
来自中国、美国、德国、日本、韩国、巴西、瑞士、加拿大、英国等20多个国家的90多名代表参与了此次会议。下图为 DataOps 国际标准框架图。
03
国内标准及测试情况介绍
2022年,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)联合金融、通信、互联网行业头部企业以及各大服务厂商,共同成立DataOps标准工作组,编制《数据研发运营一体化 (DataOps) 能力成熟度模型》系列标准,涵盖总体架构、研发管理、交付管理、数据运维、价值运营、系统工具、组织管理、安全风险等八项内容。
目前工作组已启动对研发管理、系统工具两项标准的评估评测工作,已有十余家单位通过。
后续我们还将持续在标准建设、理论研究及生态建设方面深入推进相关研究,欢迎各单位合作交流!
联系人:
尹正
15810811776(同微信)
中国通信标准化协会大数据技术标准推进委员会(CCSA TC601,简称:数标委/BDC),旨在凝聚产业链各个环节,识别和解决大数据发展面临的重大问题,开展大数据技术、数据资产管理、数据共享与流通、数据安全等共性基础标准研究,以标准推进工作为纽带,推动大数据与实体经济深度融合。欢迎加入我们的行列!
入会咨询:白老师 13520285502
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...