高质量数据集典型案例 | 亿海蓝水运物流高质量数据集

亿海蓝水运物流高质量数据集

推荐单位：北京市政务服务和数据管理局

申报单位：亿海蓝（北京）数据技术股份公司

一、背景

针对供应链物流数据采集实时性低、多源异构数据融合难的问题，亿海蓝（北京）数据技术股份公司依托全球船舶AIS（自动识别系统）、船舶档案、港口档案及数据挖掘产生的航次信息，构建了“实时采集－多源融合－时空标识－质量管控”四位一体的数据治理技术体系，形成了覆盖船舶行为、货物流动和港口运营的水运物流高质量数据集，支撑了供应链协同、风险预警等应用，对提升水运数字化水平、增强供应链韧性具有战略意义。

亿海蓝数据资产与数据中台架构图

二、方案和成效

一是构建水运物流数据实时采集体系。研发水运物流数据实时采集平台，基于分布式数据库、EDI、Web API、RPA等技术，构建星基、岸基、船基AIS、船舶档案、全球港口基础设施与地理信息等水运信息的实时接收与接入体系，日均更新船舶AIS超10亿条，港口档案已覆盖全球6000余个港口。

二是构建水运物流多源数据融合系统。研发水运物流多源数据融合处理技术，构建数据处理与计算中台，整合SpatialETL处理、流批一体计算引擎及时空数据处理算法等核心技术，形成涵盖数据接入、清洗、建模、OLAP引擎、OpenAPI以及数据治理的完整技术体系，实现AIS、船舶档案、港口腹地基础地理信息与专题信息等数据的综合集成、智能存储、实时访问与高性能运算。

三是构建水运物流时空标识技术体系。研发水运物流数据时空标识与监测技术，应用HBase、Spark、GeoMesa、WebGIS和时空数据可视化分析等技术方法，集成图像处理和计算机视觉算法、数据挖掘与机器学习算法和时空数据算法，开发集成多源数据的水运物流时空标识与监测平台，计算生成包括船舶航次、航行事件、发运量与卸货量等数据指标，构建多维度的全球水运物流指标集。

四是构建水运物流数据质量管控体系。设计多元化数据质量评估标准，形成数据治理平台，满足不同层级数据服务数据质量管控需求。

三、创新点

一是突破多源异构数据融合技术瓶颈。通过全球领先的AIS基站网络与卫星数据资源，构建覆盖船舶行为、货物流动和港口运营的结构化数据集，实现时空信息精准匹配与节点事件预测。通过自动化清洗、标准化标注和时空关联分析，生成船舶航次、大宗商品流向等高价值数据。

二是构建“1+N”的应用体系架构。面向场景化数据应用和决策分析需要，形成一个大数据中台、N个典型应用的“1+N”应用体系，支持内河水运物流、国际集装箱海运、涉海研判、大宗货流分析等丰富场景。

三是打造水运生态圈的公共数据平台。在提供标准化API与定制化服务的同时，构建面向水运生态圈的公共数据平台，打破行业“数据孤岛”，实现商业价值与社会效益双赢。