网易互娱AI Lab夺得IJCAI 2022 Olympics竞赛冠军

  近来，世界人工智能尖端会议IJCAI 2022 AI 奥林匹克竞赛成果出炉，网易互娱AI Lab的部队历来自学术界和工业界的很多参赛部队中锋芒毕露，以1482.32分的成果大幅抢先其他部队夺得冠军。网易互娱AI Lab研制的Athena AI体系再次登顶世界AI智能体竞赛，展示了网易互娱AI Lab在AI范畴的归纳技能实力。

  世界人工智能联合会议（IJCAI, International Joint Conference on Artificial Intelligence）是AI范畴中最重要的尖端会议之一，是我国计算机学会CCF引荐的A类会议。本次竞赛中的游戏环境是对奥林匹克项目进行的仿照，包含冰壶、足球、跑步、桌面曲棍球、相扑、桌球等，参赛者需运用各种人工智能办法开发可以参加不同奥林匹克运动的智能体，并和一切其他部队的智能体进行对立，这对智能体的泛化性提出了应战。此外，竞赛还仿照了实在场景下运动员视界规模有限的状况，要求智能体仅凭仗部分可观测的信息进行决议计划。

  智能体可以相互磕碰，也可以磕碰墙面，但可能会丢失必定的速度。智能体本身有能量，每步耗费的能量与施加的驱动力和位移成正比。智能体能量一起以固定速率康复，假如能量衰减到零，智能体呈现疲惫，导致不能加力。

  整个游戏会顺次运转以下几个子游戏：在跑步中，智能体的方针是在随机挑选的地图上赶快抵达结尾。在桌面曲棍球中，智能体的方针是经过磕碰将球打入对手的球门且防止自家球门被攻破，智能体只能在己方的场所中移动。在足球中，智能体的方针与桌面曲棍球项目相同，可是智能体可以在球场上恣意活动。 在相扑中，智能体的方针是防止摔下擂台而且争夺将对方撞下擂台。在桌球中，智能体需要在尽可能短的时间内将桌面上的球打进洞且防止母球落袋。在冰壶中，两边智能体在两轮中别离作为先背工向场所中心的方针点投掷小球，每轮每方智能体有三次投掷的时机，小球在经过红线后不能再对其施加力，方针是相较对手有更多的球接近中心方针点。当一切子游戏完毕后，游戏完毕。

  每方在赢得一场子游戏后取得1分，输掉一场子游戏取得0分，整个游戏的得分为一切子游戏上的得分之和。

  本次竞赛由我国科学院自动化研究所主办，招引了来自哔哩哔哩、麻省理工学院、清华大学、中科院、上海交通大学、浙江大学等很多学术界和工业界的部队，其间还包含了上一届AI奥林匹克竞赛的冠军。来自网易互娱AI Lab的部队“高唐体校”初次参赛，就在初赛和复赛中以1476.85分和1484.66分的成果一路抢先，终究凭仗1482.32分大比分抢先其他部队夺冠。

  网易互娱AI Lab研制的Athena AI体系，运用了自研的分布式深度强化学习结构进行智能体练习。该结构不光练习高效，也能支撑一起仿照和数百种不一样的风格的对手进行对战的场景，因而可以在此次竞赛中面临各种不知道对手时安稳制胜。

  模型规划如图所示，首要运用了深度残差网络对图画输入进行编码。其间输入共分为4个部分，别离为两种图画输入和两种标量输入：为了处理环境本身的部分可观测（POMDP）特性，模型输入会有取舍地采样每次决议计划前60帧内的部分数据（Past Frames）进行堆叠，还会有一些其他标量信息如智能体坐标、膂力等（Vector Feature）；考虑到冰壶环境的特殊性，在该环境中智能体还会提早调查冰壶中心区域的信息（Curling Center）作为输入；最终智能体还额定运用了一些能从环境中获取到的大局完美信息（Perfect Info）辅佐猜测状况价值。

  动作空间的建模上运用了离散化的多头输出，对移动方向（Angle）和施力巨细（Force）别离建模，在优化复杂度仅线性添加的状况下将动作空间大幅度的进步至3600维，使智能体在微操上灵活性更好。相较于其他参赛部队，智能体也体现出了愈加多样的战略，例如在冰壶环境中大大都部队选用根据规矩的办法，而网易互娱AI Lab的智能体经过练习学会了多视点击打、封闭对方背工等高档战术。

  网易互娱AI Lab成立于2017年，隶属于网易互动文娱工作群，是游戏职业抢先的AI实验室。AI Lab所供给的人工智能服务包含计算机视觉、自然语言处理、语音信号处理、游戏AI多个视点。现在技能已应用于网易互娱旗下多款抢手游戏，如《梦境西游》、《哈利波特：魔法觉悟》、《阴阳师》、《大话西游》、《荒野举动》等等。

  Athena AI是互娱AI Lab研制的游戏AI体系，应用了前沿的仿照学习、强化学习、进化学习算法完成游戏中的竞技对战、友爱陪玩、平衡性测验等AI需求，现在已落地互娱多款不一样的游戏。