团队科研成果分享-48

研究背景

海洋污染监测是海洋环境保护中一个重要问题，其路径规划效率直接影响监测任务的完成速度和能源消耗。传统的多智能体路径规划算法在复杂水下通信受限环境下存在一定的局限性，比如电磁波信号衰减严重、带宽受限以及动态干扰因素多，传统算法的协作效率低，难以避免路径冲突并适应实时环境变化。因此，需要一种新颖的多智能体强化学习算法来克服这些问题。本文提出了一种基于分层对手多参与者注意力批评（HOMAAC）的路径规划算法，旨在解决水下多AUV协作场景中的动态环境感知与高效决策问题。该算法利用分层图形注意力机制和扩展对手建模（涵盖AUV与环境实体）来提高局部观测信息的聚合能力和协作策略的适应性。通过无通信依赖的集中训练与分散执行框架，该算法可以动态推断相邻AUV的意图并优化轨迹规划，减少碰撞风险，并提高任务完成率与能源效率。

关键技术

本文利用分层图形注意力机制（HGAM）与扩展对手建模（OM）技术，通过集中训练与分散执行（CTDE）框架，以提高多AUV协作路径规划的动态环境适应能力和任务完成效率。具体来说，算法首先通过分层注意力机制对AUV、障碍物、洋流等实体进行分组建模，提取局部观测中的关键信息，并通过注意力权重分配激励对高相关性实体（如邻近障碍物）的优先级感知。这种动态交互感知机制可以鼓励AUV在复杂环境中高效避障并优化轨迹。然后，为了克服传统对手建模仅关注AUV交互的局限性，算法提出了一种环境实体扩展的对手建模方法，将洋流、地形等动态因素纳入对手策略预测。根据实体层级关系与局部观测特点，可以实现对海洋环境动态变化的实时推断，提高了协作决策的鲁棒性。

该方法的创新和贡献如下：

1）扩展对手建模：将对手概念从AUV延伸至环境实体（如洋流、障碍物），通过局部观测预测实体动态行为，提升协作冲突解决能力与轨迹安全性。

2）分层图形注意力机制（HGAM）：设计多层级注意力网络，对AUV群组与环境实体分别建模，实现信息高效聚合与上下文感知，优化策略推导的精准度。

3）通信无关的协作框架：基于CTDE架构，通过集中式训练优化全局策略，结合分散式执行降低实时通信依赖，显著减少能耗并增强系统可扩展性。

算法介绍

实验结果

（1）仿真参数设置

表1展示了奖励值设置，表2展示了HOMAAC算法的超参数。

表1 奖励值设置

表2 超参数设置

消融实验：1）HAMAAC, 2）ATOM , 3）MAAC；

对比算法：1）MADDPG, 2）MAPPO, 3）MASAC

性能评价指标：

1）The earliest convergence episode：指的是框架的时间复杂性。

2）Best interworking episode：指AUV之间最初协作的时间。

3）The best convergence point：指在汇聚时获得的最高奖励。

4）Collision rate：表示AUV在执行任务时发生碰撞的频率。

5）Task completion time：表示AUV完成执行任务所需的时间。

表3展示了对比算法框架对比。

表3对比框架摘要

（2）仿真结果与分析

图5 消融实验

图5展示了消融实验对比了HOMAAC框架与三种变体（HAMAAC、ATOM、MAAC）的性能差异，验证关键模块（HGAM、扩展OM）的贡献：1）HAMAAC：保留HGAM但仅建模AUV间交互，忽略环境实体动态，导致对洋流/障碍物的适应性下降。2）ATOM：仅采用传统对手建模（仅AUV间预测），缺乏分层注意力机制，协作策略易受环境干扰。3）MAAC：完全移除HGAM与OM，依赖显式通信，在复杂水下场景中协作效率显著降低。HOMAAC表现出更稳定的收敛趋势，得益于分层注意力机制与扩展对手建模的协同作用，有效平衡了环境动态与协作策略的冲突。HAMAAC在训练后期呈现周期性波动，因其缺乏环境实体建模，无法适应洋流与障碍物的动态干扰，导致策略鲁棒性不足。ATOM的奖励增长停滞较早，仅依赖传统AUV对手建模，忽略层级化实体交互，策略难以应对复杂水下环境的实时变化。MAAC性能显著落后，因其完全移除分层建模与对手预测，依赖低效通信机制，协作决策无法规避路径冲突与能耗浪费。

图5展示了对比实验将HOMAAC与主流多智能体强化学习框架（MADDPG、MAPPO、MASAC）及传统方法进行性能对比，验证其在复杂水下场景的优越性：任务完成效率：HOMAAC在20 AUV群组中任务完成时间（TCT）为2016秒，较MADDPG（6174秒）缩短67%，证明其动态分簇与能耗敏感奖励机制的高效性。冲突与能耗：HOMAAC碰撞率较MASAC降低82%，能耗减少85%，凸显分层注意力机制对路径冲突规避与节能轨迹优化的作用。通信依赖对比：传统方法（如MADDPG）依赖显式通信协调，在带宽受限场景中协作效率骤降；HOMAAC通过无通信CTDE框架保持稳定性能，验证其环境自适应性。HOMAAC与基线方法（MADDPG、MAPPO、MASAC）的训练奖励曲线对比说明通过层级化环境感知与通信无关协作机制，在收敛速度、稳定性及任务收益上全面超越传统方法，尤其适用于高动态、低通信的水下多AUV场景。

图5 收敛性对比实验

表4展示了HOMAAC在不同AUV群组规模下均展现出更早触发协作的显著优势，且规模越大性能增益越明显。主要是因为分HGA）与OM赋予算法动态适应能力，可随AUV数量增加自动优化群组分簇策略，减少冗余交互，加速协作意图推断。表5展示了HOMAAC的协作启动时间随规模扩大增幅最小，验证其强可扩展性。主要是因为无通信的CTDE框架避免带宽竞争，结合实体级对手建模减少环境干扰对决策延迟的影响，确保大规模AUV群高效协同。表6展示了HOMAAC在任务完成速度与能源效率上全面超越基线方法，实现复杂场景下高效低耗的路径规划。主要是因为分层注意力机制精准捕捉关键实体（如邻近障碍物），优化避障路径；能耗敏感奖励驱动节能轨迹选择，减少水流阻力造成的能量损耗。

表3 不同规模下AUVS在训练期间的合作情况

表4 不同规模下AUVS在训练期间的合作次数

表5 任务完成时间和能耗

总结

本文提出了一种分层对手多参与者注意力批评（HOMAAC）框架，用于解决复杂水下环境中多自主水下航行器协同路径规划问题。首先，基于MARL与OM，提出了HGAM，以动态分簇AUV群组与环境实体（如洋流、障碍物），实现高效局部信息聚合。引入了扩展对手建模，将环境实体动态纳入策略预测，以提升协作冲突解决能力与轨迹安全性。基于集中训练-分散执行框架，提出了通信无关的协作决策架构，通过全局价值评估与分散动作执行降低实时通信依赖。在实验研究中，对动态洋流、随机障碍物分布及多AUV协同运输场景下的任务完成效率、碰撞率与能源消耗等进行了详细实验。实验结果表明，所提出的方法在复杂水下物流任务中取得了令人满意的性能。通过采用该方法，AUV群的协作效率和能源利用率得到了大幅提升，为实现高效海洋污染监测与设备部署提供了有效的解决方案。