王者荣耀：探索和发展通用AI问题

生物体的进化速度需要数百万年才能计算出来，而人工智能的进化速度是肉眼可见的。

图片来自网络

半百年前，人类需要用一台重达1270公斤的电脑来对抗象棋大师时，根本没有想到过半个世纪后，王者荣耀的AI可以进化到职业电竞水平，这就是王者荣耀的AI——“绝悟”，它可以模仿玩家离线对局的样本，为了突破上限，又采用了AI自对局的强化学习，然后在“绝悟挑战”中测试强度。

《王者荣耀》执行制作人、腾讯天美L1工作室总经理黄蓝枭在STAC首届科创联谊会上表示，“绝悟”是一个多智能体系统，即大量能够自主决策的AI共同协作，以实现一个共同且具有挑战性的目标。

此外，王者荣耀团队还开放了王者的核心机制，与腾讯AILab、相关高校、研究机构等合作，对多主体进行研究。希望通过这些研究成果，能够在其他行业领域推广应用，为工业机器人、救灾机器人等提供帮助。

图片来自网络

做王者荣耀AI的前沿研究。

多元智能系统统(大量具有自主决策能力的AI共同协作，以达到同一目标)是前沿人工智能技术的核心研究领域，经过多年的研究，已被广泛应用于各行各业。例如无人仓库，多智能体机器人完成大规模仓库管理；智能交通车辆协同系统，实现无人驾驶；智能工业机器人，物联网等领域。而多代理技术都能很好地应用下来提高生产效率。

在游戏研发过程中，王者荣耀团队发现MOBA游戏机制具有很强的多人协作性，在非对称信息下的游戏空间很大，合作竞技性很强，非常适合于采用多代理人工智能技术来提高生产和测试效率。

如果AI技术能够学习人类在如此复杂的环境中实时感知、分析、理解、推理、决策和行动，它将在变化的、复杂的现实环境中扮演更重要的角色。

基于这一背景，基于王者荣耀游戏的特性，王者荣耀团队与腾讯AILab合作，在王者继续进行人工智能相关的技术研究和应用实践，研究并开发出多智能体产品“绝悟”。

使AI学会像人一样做出决定。

图片来自网络

“绝悟”这个名字的寓意是“绝悟”，它的技术研发始于2017年，并于2018年12月通过了顶级业余水平测试。

在2019年8月2日于吉隆坡举行的王者荣耀冠军杯半决赛特设环节上，“绝悟”以5v5职业选手赛区联队带来的水平测试获胜，升级到王者荣耀电竞职业级别。

与之相比，“绝悟”1v1版也首次公开亮相，在上海举行的国际数码互动娱乐展上，ChinaJoy向顶级业余玩家开放了为期四天的体验测试。在为期4天的2100场考试中，“绝悟”只输4场，胜率达99.81%。

职业描述AI打王者荣耀的场景是——非完全信息多智能体协同零和即时游戏。简单地说，AI需要在信息不完全、复杂性高的情况下做出复杂而快速的决策。

图片来自网络

10个参与者面对着一幅信息不全的巨大地图，其中包括战略规划、英雄选择、技能运用、路径探索和团队合作，这些都给他们带来了极其复杂的情况，其中预期可能发生10的20000次方种操作，而整个宇宙原子总数只有10的80个方种操作。

从王者本身的实践层面上，玩家可以在限时开放的「绝悟」挑战中体验AI的能力，在遇到队友掉线时，也可以把掉线的队友交给AI托管，但是AI并不能主宰比赛，胜负的决定权仍掌握在所有玩家手中，此外，「绝悟」只在实验室环境下才能使用。

“绝悟”也在新英雄设计和游戏数值调整中起到了重要作用，为AI最终探索游戏打法和胜率提供参考，帮助规划优化游戏设计。

在2020年11月的一次平衡调整中，王者团队想要提高公孙离的强度，“绝悟”对调整后的公孙离进行了模拟对战，结果显示改变后的胜率+2.42个百分点，但部分体验服玩家认为这将严重削弱公孙离。

图片来自网络

由“绝悟”到“开悟”

经实践验证，王者荣耀与腾讯AILab团队开放了多智能体研究过程中所沉淀下来的技术资产，建立了开悟开放平台，打造了以王者荣耀核心技术为支撑，面向用户低成本进行多智能体算法研究、教学和验证的教学科研平台。

他说：“我们开放王者的核心机制，提供标准界面、核心算法、脱敏训练、评估工具和计算集群等，让教师和同学进行多智能体机器学习算法研究，交流学习结果，对算法结果进行反复迭代升级。将来还可以提供给其他有需要的研究机构进行更接近工业化进程的研究，”王者荣耀执行制作人、腾讯天美L1工作室总经理黄蓝枭说。

到2020年，王者荣耀将与腾讯AILab、腾讯大学、腾讯游戏学院共同举办首届“王者荣耀·开悟AI+游戏大赛”，邀请18所顶尖大学的老师和同学在“开悟AI+游戏大赛”上进行学术研究和交流，并提供全方位的资源支持。

"多个智能体相互学习协作是很困难的，需要确定每个智能体的目标，并划分主辅关系，实现这样复杂的设计成本很高。"中国科学院自动化研究所兴军亮团队提出了一个自我提升式强化学习框架，智能体可以先通过模仿学习，再通过自我互动而进阶进化，再加上他们提出的一个新策略，可以有效地缓解多智能学习中的常见问题。

通过一年的实践，活动取得了良好的成果，验证了王者荣耀在游戏环境中人工智能技术赋能的思路。

图片来自网络

助产学，共享AI+游戏新生态。

《王者荣耀》制作人、腾讯天美L1工作室总经理黄蓝枭在STAC首届科创联谊会上宣布，将与国内顶尖大学共同建立“多智能体人工智能科研教学联盟”，为更多的高校教师和学生赋能，为教师、学生和业界伙伴提供低门槛、内容丰富且稳定可靠的学术研究和交流场景，这一场景将在国内高校中率先展开。

“人工智能是国家的重大战略，腾讯游戏公司副总裁、腾讯游戏学院院长夏琳表示，腾讯游戏公司将与各高校进行深度产教融合，重点培养AI+游戏的新兴科技人才。

与此同时，聚焦王者荣耀等游戏AI领域的科研，与国内外重点大学和国家重点实验室不断输出对行业有价值的科研成果，AI将在国内持续发展，未来可期。

随着人类与科技的交融，王者荣耀不断地投入，让AI由0到1去学习进化，并发展出一套合理的行为模式，其中的经验、方法和结论，短期内可以为游戏业、电竞业带来直接的推动和帮助，有望在更大范围内产生更深远的影响，如医疗、制造业、无人驾驶、农业、智慧城市等。从长远来看，AI+游戏的研究，将推动AI的最终目标——探索和发展通用AI问题。