国家发明专利丨面向兵棋推演的智能决策方法

近日，渊亭科技自主研发的“面向兵棋推演的智能决策方法、装置及存储介质”荣获国家知识产权局发明专利授权。该发明提出了一种基于“任务—行为”的多智能体强化学习分层训练方法，旨在解决兵棋推演等高维、复杂场景下的多智能体训练效率难题。

兵棋推演是多智能体系统研究的核心业务场景，作为一种模拟战争与对抗过程的复杂系统，是检验和提升指挥决策能力的重要手段。然而，将人工智能技术应用于兵棋推演面临着多重挑战：

在这样复杂的环境下，传统的多智能体强化学习算法，尤其是依赖于联合动作值函数分解的方法，往往训练效率低下，难以获得理想的决策效果。

为突破上述瓶颈，该发明提出了一种面向兵棋推演的智能决策方法。该方法的核心是基于“任务—行为”的强化学习分层训练方法(Task-Behavior Hierarchical Reinforcement Learning, TBHRL)，将复杂的决策过程分解为两个层级：

该专利方法首先对兵棋推演场景进行建模，包括对兵棋推演场景的智能体集合进行定义及对状态空间、观测空间和动作空间进行建模。在此基础上，构建兵棋推演场景的上下层分层决策网络。

通过这种“上层关注任务、下层关注动作”的模式，该方法将一个巨大且复杂的决策问题，成功地拆解成了“选择哪个宏观目标”和“如何执行具体步骤”这两个规模更小、更易于求解的子问题。

这种分层结构显著降低了模型的学习难度，从而提升了智能体在复杂场景中的训练效率和最终的决策效果。

专利步骤

针对兵棋推演这类具有高维状态空间、观测空间和动作空间的复杂训练场景，本发明提高了整体训练的效率，使多智能体能够快速学习并掌握高效的协同策略，从而实现特定兵棋推演想定下的有效决策。该方法能够有选择性地对状态特征进行提取，更好地适应不同的兵棋推演场景。

通过该专利技术训练的智能体已在兵棋推演赛事中进行了实践应用，并取得了良好的对战效果，充分验证了该技术方法的有效性。

此次发明专利的获得，是渊亭科技长期坚持核心技术自主研发、积极探索人工智能前沿应用的又一重要成果。未来，渊亭科技将继续深耕多智能体博弈与决策领域，推动相关技术在更多行业落地，为智能化时代的到来贡献更多创新力量。