日前,CVPR 2022(Computer Vision and Pattern Recognition,计算机视觉与模式识别国际顶级会议)的多项挑战赛结果正式出炉。好未来旗下美校智学云视觉团队凭借暗光下动作识别和大气扰动文字图像恢复等前沿技术,分别在UG²+挑战赛中Semi-Superviced Action Recognition in the Dark(暗光条件下的半监督动作识别)赛道、Atmospheric Turbulence Mitigation(图像去湍流扰动)赛道上,击败众多国内外团队,斩获两项国际冠军。 这是好未来继荣获CVPR2020和CVPR2021多项冠军后,再次在该国际技术赛场上取得佳绩。CVPR由IEEE电气与电子工程师协会举办,是计算机视觉和模式识别领域最具影响力、内容最全面的顶级A类学术会议之一。本次UG²+挑战大赛由新加坡科技局资讯通信研究院(Institute for Infocomm Research, A*STAR, Singapore)、新加坡南洋理工大学(Singapore Nanyang Technological University)联合举办,吸引了包括来自马里兰大学、中国科学院大学等在内的众多国内外高校和研究机构的上百支专业团队参加。Semi-Superviced Action Recognition in the Dark挑战赛要求识别暗光场景下视频序列的动作类别。由于在暗光环境下视觉特征相较正常环境下差异巨大,使用现有动作识别算法不能有效工作,对识别算法与研究人员都是很大的挑战。 为了应对这些问题,好未来美校事业部视觉团队结合了深度学习方法的数据处理方案,将暗光数据“去黑暗化”以及一系列的图像处理技术与GAN技术,将正常的图像(来自于HMDB51, K600等)实现“域”迁移,得到与黑暗图像变亮效果类似的图像。此外,该团队基于自监督学习训练的视频分类方法,充分挖掘视频的时序关系和视觉特征,并通过自适应的多轮次伪标签迭代训练的半监督方法,取得91.33%的准确率,夺得冠军。
图片处理效果对比,左为暗光图片,右边为暗光增强图片
图:Semi-Superviced Action Recognition in the Dark挑战赛最终前五名榜单,好未来位居第一近一个世纪以来,人们对于光在介质中扰动和传播进行了大量研究。然而对于受大气扰动图片的恢复、重建算法的研究却进展缓慢。Atmospheric Turbulence Mitigation挑战赛旨在促进相关算法的研究。 好未来(队伍名:Summer)在该竞赛中使用Restormer模型用于图像重建。利用扰动图片之间存在空间关联的特性,采用多帧输入,充分学习、提取不同帧之间的空间特征,使最终端到端图像重建效果显著提升。另外,结合NIMA模块,使得pipeline能适用于不同场景。最终,以重建后图像字准98.53%的绝对优势夺魁。