计算机工程

作者：雷捷维, 王嘉旸, 任航, 闫天伟, 黄伟

单位：1. 南昌大学 信息工程学院, 南昌 330031;2. 江西农业大学 软件学院, 南昌 330000

关键词：Double DQN算法,Expectimax搜索,非完备信息博弈,麻将,强化学习

基金：国家自然科学基金（61862043）；江西省自然科学基金（20181ACB20006）。

麻将作为典型的非完备信息博弈游戏主要通过传统Expectimax搜索算法实现，其剪枝策略与估值函数基于人工先验知识设计，存在假设不合理等问题。提出一种结合Expectimax搜索与Double DQN强化学习算法的非完备信息博弈算法。在Expectimax搜索树扩展过程中，采用Double DQN输出的估值设计估值函数并在限定搜索层数内获得分支估值，同时设计剪枝策略对打牌动作进行排序与部分扩展实现搜索树剪枝。在Double DQN模型训练过程中，将麻将信息编码为特征数据输入神经网络获得估值，使用Expectimax搜索算法得到最优动作以改进探索策略。实验结果表明，与Expectimax搜索算法、Double DQN算法等监督学习算法相比，该算法在麻将游戏上胜率与得分更高，具有更优异的博弈性能。

来源：2021年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2021年第3期