推荐 | 南京大学高阳团队带您“玩转”掼蛋

中智凯灵 2024年02月01日 18:25 北京

以下文章来源于计算机研究与发展 ，作者葛振兴，向帅等

计算机研究与发展.

《计算机研究与发展》期刊官方订阅号

春节推荐

考虑到由于已有策略并非一定最优，经过初始化过后仍需采取自博弈的方式进行训练，因此软启动考虑在训练过程中融入已有策略而非如文献[19]直接去拟合已有策略方式，如图1（a）所示. 这样既融入了已有策略对当前模型训练进行加速，同时又避免了普通的暖启动方法所面临的过估计等问题.

掼蛋扑克博弈编码框架

状态的编码均采用1位有效编码的形式. 手牌信息根据游戏使用的牌数量构建不同大小的空矩阵，若使用 n 副牌则构建 n×(4×13+2) 大小的矩阵，其中 4×13+2 表示1副牌，4为花色索引，13为点数索引，2表示大小王，当拥有某张手牌时，对应位置的矩阵数值置为1. 对于标准掼蛋规则，由于使用2副牌，因此 n=2，具体卡牌编码如图2“卡牌表示”部分所示.

掼蛋编码方式采用上文的编码框架，每一部分的编码大小如表1所示.

掼蛋扑克介绍

掼蛋是国内一种广泛流传的扑克类博弈. 掼蛋博弈使用2副扑克牌，共108张牌，采取2对2的模式对抗，其中每个博弈玩家与对家为1支队伍进行对抗. 本文采用第2届“中国人工智能博弈算法大赛”中的掼蛋规则，下面简要介绍.

1） 等级. 1局掼蛋博弈可以分为若干小局，每小局根据双方队伍等级中最高的决定当前牌局等级，并依据小局胜负情况更新双方的等级. 掼蛋对局中初始双方等级为2，之后依次为3，4，5，6，7，8，9，10，J，Q，K，A.

2） 升级. 每小局对战结束后，仅第1个出完牌的玩家（称为上游）所在队伍可以升级，升级数依据队友出完牌的顺序决定：若队友第2个出完牌（称为二游），则升3级；第3个出完牌（称为三游），则升2级；若队友最后1个出完牌（称为下游），则只升1级.

3） 获胜条件. 当一方队伍到达等级A，并且队伍中一人获得上游，另一人获得二游或者三游.

4） 特殊牌. 掼蛋中和当前牌局等级相同的牌为级牌，其中红桃级牌称为逢人配，可当作任意牌与其他花色牌组合使用.

5） 牌型. 掼蛋中牌型如下：单张、对子、三连对、三同张、二连三、三带二、顺子、同花顺、炸弹、天王炸. 其中炸弹张数多者为大，同样张数按照点数排序，同花顺大于任意不超过5张的炸弹，天王炸为2张大王和2张小王为最大牌型.

6） 牌点大小. 掼蛋中牌点从大到小依次为：大王、小王、级牌、A、K、Q、J、10、9、8、7、6、5、4、3、2. A在搭配成三连对、二连三、顺子、同花顺时，可视作1.

7） 进贡、还贡. 从第2小局开始，由上一轮的下游向上游进贡，挑选1张除红心级牌之外最大的牌给上游. 上游选择1张不大于10的牌给下游还贡. 如果上一局出现一方队伍获得三游和下游，则队伍2人均向对方队伍分别进贡和接受还贡. 如进贡方有2个大王，则可以不进贡.

最后为了验证本文提出的软启动方法的实验效果，我们比较了DMC方法、已有策略预训练的方法（基于策略启动的DMC）以及我们提出的采用软启动的SDMC方法对抗1st Top 16时的胜率与平均每小局净胜分曲线，如图3所示，其纵坐标分别为对抗的胜率与平均每小局净胜分，横坐标为训练所用的时间步. 对于每种方法，每次测试记录200局与1st Top 16的胜率与每小局净胜分结果，测试3次，图3绘制了测试的平均值与标准差. 其中基于策略启动的DMC采取与DMC和SDMC相同的神经网络架构与训练方式，不同之处在于基于策略启动的DMC每次自博弈生成轨迹是依据已有策略进行贪心采样，训练基于策略启动的DMC模型. 基于策略启动的DMC所采用的已有策略与SDMC相同，均为1st Champion.

从图3（a）中可以看到SDMC相较于DMC在训练初始阶段取得了较高的胜率提升速度，如在胜率达到60%时，SDMC需要约个时间步，而DMC则需要约个时间步，对于60%胜率，SDMC仅需DMC的68%训练开销. 同样地，在图3（b）中对于净胜小分，SDMC仅需个时间步即可达到净胜分大于0，而DMC需要约个时间步，SDMC降低了约35%的时间需求.

▶总结

掼蛋这种来源于民间的游戏活动，已开始成为一种正规的棋牌竞技。首届由国家体育总局棋牌运动管理中心，主办的全国掼牌（掼蛋）公开赛总决赛不久前落幕。上海队最终获得男双和女双两个项目的亚军。全国各种掼蛋比赛纷纷开启！