微软超级麻将AI Suphx，破解非完美信息游戏
由于长期在民间广为流传，不同地区的麻将玩法非常多样，缺乏统一的规则标准和评价体系。日本在线麻将竞技平台“天凤”，因其完善的竞技规则、专业的段位体系，成为了业界知名的高水平专业麻将平台，受到职业麻将界的广泛承认。天凤吸引了全球近 33 万名麻将爱好者，其中不乏大量的专业麻将选手。
天凤平台为高水平麻将玩家提供两种竞技房间：“特上房”对四段以上所有玩家免费开放，允许 AI 参与游戏，目前所有玩家在此房间的最高段位是十段；“凤凰房”仅对七段以上的人类付费玩家开放，目前不允许 AI 参与游戏，在该房间能够达到的最高段位是十一段，称为“天凤位”。自天凤平台在 2006 年推出以来，全平台达到四人麻将天凤位的麻将高手仅有13位，曾经达到过十段的选手约有 180 位，而现役十段的人类选手也仅有十几位。
微软亚洲研究院开发的麻将 AI 系统 Suphx（Super Phoenix，意为“超级凤凰”）于 2019 年 3 月登陆天凤平台，在 AI 能够参与的公开竞技房“特上房”，Suphx 与人类选手展开了 5000 余场精彩激烈的四人麻将对局。6 月，Suphx 成为了首个成功达到天凤十段的 AI 系统。
由于单局麻将的输赢并不仅仅取决于实力，从发牌到抽牌，4 位玩家的手牌组合都充满了不确定性，机遇也会对结果产生重要的影响。因此麻将的对局数越多，越能够真实地反应一位雀士的稳定水平，于是，天凤平台通过计算稳定段位（Stable Rank）来衡量雀士的真实实力水平。玩家的段位越高，在比赛中排位第四受到的点数惩罚也越多，点数扣除到一定程度会导致降段，因此取得一个高而稳定的稳定段位是非常不易的。
在这 5000 余场对局中，Suphx的 稳定段位超过了 8.7。这样的稳定段位是一个极高的数字。据统计，天凤平台的所有顶级人类选手在取得十段后，在“特上房”共参加过近万场比赛，整体稳定段位为 7.4。与所有取得过天凤十段的顶级人类玩家相比，Suphx 在特上房的稳定水平要领先约 1.3 个段位。此前，天凤平台还活跃着另外两个麻将 AI 系统，由东京大学在 2015 年开发的“爆打”和 Dwango 公司于 2018 年开发的基于深度学习模型的“NAGA25”，二者的稳定段位均在 6.5 左右。
天凤平台“特上房”稳定段位对比
“我看了 Suphx 的比赛，”天凤 ID 为“ASAPIN”的朝仓康心在社交媒体上表示，“我感觉它好像比我更强大！”“ASAPIN” 是在日本麻将玩家中无人不知晓的一个神级的存在，他是全世界天凤玩家中率先到达“天凤位”的第一人，是公认的天凤位中的最强玩家之一。
Suphx 的杰出表现也获得了天凤平台官方的认可与青睐：“毫无疑问，Suphx 是迄今为止段位最高的麻将 AI。我们在考虑归档 Suphx 的所有比赛录像，以共享给全平台的其他麻将选手进行参考和学习。我们也正在和麻将社区里的广大玩家讨论，是否可以破例允许 Suphx 进入只有人类玩家参与的‘凤凰房’进行比赛。这样，我们将有机会欣赏到更加激烈和精彩纷呈的比赛。”
天凤平台开发公司 C-EGG 的 CEO 角田真吾表示：“这是一项巨大的突破，Suphx 不仅帮助我们用更智能的方式发展传统文化，更展示了拓展 AI 能力边界的可能性，我想这对天凤平台、麻将社区乃至社会都是一个令人振奋的事情。”
与象棋、围棋、德州扑克等棋牌类游戏相比，麻将具有更复杂的隐藏信息和更高的难度。总体而言，麻将 AI 主要面临以下挑战：
巨大的状态空间：与只有 52 张牌的德州扑克相比，136 张麻将牌的排列组合可能性更多。同时，麻将中同一个玩家两次出牌之间，夹杂了其他 3 个玩家的出牌和自己摸的底牌，可能出现的不同局面数目非常巨大。值得特别指出的是，在麻将中，4 位玩家的出牌顺序是不固定的，任意一位玩家的“吃碰杠”都可能使出牌顺序突然改变，导致游戏树不规则、且动态变化。这些特点使麻将很难直接利用 AlphaGo 等棋盘游戏 AI 常用的蒙特卡洛树搜索算法。
非完美信息博弈：象棋和围棋属于完美信息游戏，玩家可以看到棋局中对方玩家的落子。麻将则存在大量的隐藏信息。具体而言，麻将中每个玩家可以有 13 张手牌，另外还有 84 张底牌。对于一个玩家而言，他只知道自己手里的 13 张牌和之前已经打出来的牌，却无法知道别人的手牌和没有翻出来的底牌，所以最多可以有超过 120 张未知的牌。这么多的未知信息使得麻将的难度非常高。一方面，由于随机性太大，玩家即便在出牌决策中估计对方玩家手牌、底牌等不可见的牌，也无法避免不确定性对于游戏走向的影响。这将对 AI 模型的训练带来很大挑战：AI 模型很难发现已知牌面信息和最优打法之间的逻辑链路。另一方面，丰富的隐藏信息导致游戏树的宽度非常大，对树搜索算法的可行性提出了进一步的挑战。
复杂的奖励机制：日本麻将的规则是“无役不能和牌”，多样的特殊牌面构成了复杂的“役种”和番数计算规则。一轮游戏共包含 8 局，单局得分与役种和番数相关，最后根据 8 局的得分总和进行排名，来形成最终影响段位的点数奖惩。因此有时麻将高手会策略性输牌，例如，在第 8 轮时如果 A 玩家已经大比分领先第二名，他可能会故意放炮给排名第四的玩家，来防止总分被排名第二的玩家反超，保证自己在最终结算时获得最大的点数奖励。这为构建高超的麻将 AI 策略带来了额外的挑战，AI 需要审时度势，把握进攻与防守的时机。
“面对麻将游戏的巨大挑战，AI 仅靠强大的计算力无法从根本上解决问题，而需要更强的直觉、预测、推理和模糊决策能力，”微软亚洲研究院副院长、机器学习领域负责人刘铁岩博士表示。
麻将游戏的挑战以及 Suphx 的核心技术
为了让 Suphx 高效地学习麻将的复杂状态和策略，微软亚洲研究院针对麻将的特点与难点尝试了一系列基于强化学习的新算法，希望通过技术层面的创新，让 Suphx 具备有效的状态表达机制和强大的策略学习能力，同时具有大局意识，能从游戏的全局角度做出策略性的判断，确保统计意义上总分的领先地位。
比如，为了应对巨大的状态空间，研究团队引入了全新的机制对探索过程的多样性进行动态调控，让 Suphx 可以比传统算法更加充分地试探牌局状态的不同可能；另一方面，一旦某一轮的底牌给定，其状态子空间会大幅缩小；所以研究团队让 Suphx 在推理阶段根据本轮的牌局来动态调整策略，对缩小了的状态子空间进行更有针对性的探索，从而更好地根据本轮牌局的演进做出自适应的决策。
其次，针对非完美信息博弈的挑战，Suphx 创新性地尝试了先知教练技术来提升强化学习的效果。其基本思想是在自我博弈的训练阶段利用不可见的一些隐藏信息来引导 AI 模型的训练方向，使其学习路径更加清晰、更加接近完美信息意义下的最优路径，从而倒逼 AI 模型更加深入地理解可见信息，从中找到有效的决策依据。
另外，对于麻将复杂的牌面表达和计分机制，研究团队还利用全盘预测技术搭建起每轮比赛和 8 轮过后的终盘结果之间的桥梁。这个预测器通过精巧的设计，可以理解每轮比赛对终盘的不同贡献，从而将终盘的奖励信号合理地分配回每一轮比赛之中，以便对自我博弈的过程进行更加直接而有效的指导，并使得 Suphx 可以学会一些具有大局观的高级技巧。
得益于以上新技术和其他方面的创新，自今年 3 月进入天凤平台以来，Suphx 在与人类玩家的对局中学得非常快。目前，在平衡攻击和防御方面，Suphx 表现出了比许多顶尖人类玩家更明智的策略，能够战略性地完成短期损失与长期收益之间的权衡，并根据已有的模糊信息进行快速决策。
Suphx 一直在不断学习与进步，研究团队也一直在对 Suphx 背后核心算法的价值进行评估、反思和迭代，从而实现进一步的改进和提升。刘铁岩表示，“ 虽然 Suphx 根据麻将的独特挑战进行了针对性的设计，也取得了不错的战绩，但我们的创新从未停止。我们期待在不久的将来发明出更新颖、更强大的 AI 技术，使得 Suphx 的能力有更大幅度的提升。纵观历史，游戏 AI 的进化始终与 AI 研究进展相生相伴，很多关于人工智能的研究都起源于研究如何构建能够完成游戏的智能体。我们希望通过对 Suphx 的研究来探索及扩展已有AI技术的边界，不断推动人工智能领域的进步。”
Suphx 以“大三元”役满胡牌
麻将这类不完美信息游戏，与围棋、象棋等完美信息游戏相比，对人工智能来说具有更大的挑战性，因此为开发新的人工智能算法提供了理想的环境。
我们生活的世界是由许许多多的随机事件构成的，而且在很多情况下，无法知晓的信息也许远多于我们能够掌握的信息，而我们仍然要在这样信息不完全的条件下做出大大小小的决策。
而麻将游戏中复杂的推理策略和带有随机性的博弈过程，比完美信息游戏更加贴近人类复杂的真实生活。AI 在不完美信息游戏中的突破，将有助于协助人类应对更多高度复杂的现实问题，尤其是在智能交通、金融投资等容易受到随机突发状况影响的场景中。
就麻将本身而言，Suphx 可以说是“另辟蹊径”，风格自成一派，创造了许多新的策略和打法，许多观看 Suphx 比赛的玩家都表示在观战过程中受到了启发，甚至有麻将爱好者将 Suphx 称作“麻将教科书”、“Suphx 老师”，通过学习 Suphx 的打法，帮助他们进一步提升和丰富自己的麻将技巧。
“我已经看了 300 多场 Suphx 的比赛，我甚至不再观看人类玩家的比赛了。我从 Suphx 身上学到很多新技术，它们对于我的三人麻将打法有着非常大的启发意义，”麻将选手太くないお在社交媒体上表示。今年 6 月太くないお刚刚成为世界上第 15 位三人麻将天凤位获得者，也是第一位在四人麻将和三人麻将中均取得天凤位的顶级玩家。
刘铁岩表示，“我们期待 Suphx 能够成为众多麻将爱好者的良师益友，帮助人类玩家学习和提升麻将技巧。未来，我们希望 Suphx 能获得与‘天凤位’的顶级麻将高手进行切磋和学习的机会，进一步提升和精进 AI 在麻将领域的推理和决策水平。同时，我们也期待通过游戏 AI 的研究推动人工智能技术的创新发展，让人工智能真正走进人类的生活，帮助我们解决更加错综复杂的现实挑战。”
Suphx 仍在天凤平台上继续着自己的竞技之旅，研究员们希望给予它更加宽松的环境来充分学习、不断提高、自我演化；也希望在整个麻将社区的共同帮助和呵护下，Suphx 可以取得更大的进步，与麻将社区共同成长。未来，在合适的时机，研究员将会把 Suphx 的技术总结成为一篇论文，与大家分享更多技术细节。敬请期待！
你也许还想看：
感谢你关注“微软研究院AI头条”，我们期待你的留言和投稿，共建交流平台。来稿请寄：msraai@microsoft.com。