解读 | 盖亚青年学者科研基金：计算机视觉篇

点击上方“蓝色字体”，选择“置顶公众号”

精彩内容，即刻送达

盖亚青年学者科研基金

中国计算机学会（CCF）-滴滴大数据联合实验室发布“盖亚青年学者科研基金”。本项目旨在积极支持青年学者开展前沿科研工作，通过良好的合作机制，助力产学研发展。依托滴滴出行平台，为广大青年学者提供最真实的业务场景，脱敏数据与计算资源，促进高质量学术成果的产出，加速研究成果的产业落地与应用。为了进一步加速产学研一体化深度融合，本年度“盖亚青年学者科研基金”在延续开放数据资源、计算资源的基础上，深入挖掘业务场景，聚焦研究话题。此次发布“盖亚青年学者科研基金”涵含机器学习与深度学习，计算机视觉，地理信息技术，运筹学与经济学，以及开放性课题等多个研究方向的真实业务场景，通过把工业界的挑战与场景开放给学界，希望和青年学者共同发展与成长。本年度“盖亚青年学者科研基金”预申报书提交截止日期为11月22日。请您关注项目关键时间节点，选定申报命题后提前完成申报工作。项目官方网址：https://outreach.didichuxing.com/youthfunding本期我们将介绍计算机视觉专题方向课题，希望大家可以找到与自己研究方向匹配的研究方向。

计算机视觉专题

课题一：基于车载影像的城市场景重建和理解算法

1

研究方向

SLAM/SfM，深度学习

2

课题背景

城市场景重建和理解是刻画城市道路状况和交通环境的重要基础，随着深度学习和三维重建的发展，基于视觉的城市场景感知与理解成为可能。借助于当前成熟的深度学习检测、分类和分割网络，我们可以对图像进行准确、可靠的分析，提取其中的感兴趣要素，同时，准确重构出道路场景，得到感兴趣要素在物理世界中的准确位置和相对关系，对场景理解有更重要的作用。三维重建技术，比如：SLAM/SfM，是解决上述问题的一个方法，但是，具体到车载图像的场景下，又有其独特的问题，比如：图像容易受到天气、时间段、车辆行人等因素的干扰，图像的成像特点不同，部分图像质量较差，GPS位置误差较大，等等，加大了道路场景重建的难度。近几年来，随着自动驾驶和机器人研究浪潮的到来，学术界开始重视室外场景重建算法，为此，我们邀请学术界的同行一起研究这个问题，探索出一条可行的解决方案。

3

研究目标

目标1 不同条件下车载影像的特征点匹配问题

不同批次的车载影像，在光照、视角、成像质量方面都有差异，这些差异会影响特征点的提取以及局部描述子的生成，导致不同批次的图像很难匹配上。特征点匹配是三维场景构建中的基本问题，目前学术界有一些方法被提出来，如：基于学习的方法提取特征点、基于GMS的匹配策略等。我们希望课题参与者能够进行相关研究，针对车载影像的图像特点和城市场景进行进一步的适配和改进，提高图像特征点匹配的准确性和有效性。

可能的评估方法

1. 在公开数据集（如：HPatches等）上的准确率、召回率等；

2. 在提供一定数目的车载影像上的性能。

目标2 基于语义信息的SLAM算法改进

在城市场景交通要素很多，比如：道路边缘、黄实线、车道线、停止线、人行道、导向箭头、交通标志牌、电子眼、红绿灯等，这些交通要素可以通过检测和分割的方法得到其在图像上的准确位置，但是，这些要素在物理世界中的准确位置难以计算。与此同时，传统的SLAM/SfM一般仅使用图像的原始像素或特征点，然而仅仅感知环境的几何信息是不够的，还必须感知其中的内容信息，如何使用感知结果（检测、分割等）辅助三维构图并建立语义地图是一个值得研究的问题。

可能的评估方法

1. 在公开数据集（如KITTI等）上三维重建的相关指标（相对位姿误差RPE、绝对位置误差APE等）；

2. 在提供一定数目的车载影像上的性能。

4

参考文献

1. Mishchuk, Anastasiia, et al. “Working hard to know your neighbor’s margins: Local descriptor learning loss.” Advances in Neural Information Processing Systems. 2017.

2. DeTone, Daniel, Tomasz Malisiewicz, and Andrew Rabinovich. “Superpoint: Self-supervised interest point detection and description.” Proceedings of the IEEE Conference on Computer

Vision and Pattern Recognition Workshops. 2018.

3. Lianos, Konstantinos-Nektarios, et al. “VSO: Visual semantic odometry.” Proceedings of the European conference on computer vision (ECCV). 2018.4. Li,Peiliang, and Tong Qin. “Stereo vision-based semantic 3d object and ego-motion tracking for autonomous driving.” Proceedings of the European Conference on Computer Vision (ECCV). 2018.

4. Bian, JiaWang, et al. “Gms: Grid-based motion statistics for fast, ultra-robust feature correspondence.” Proceedings of the IEEE Conference on Computer Vision and Pattern

Recognition. 2017.

课题二：行车记录仪自适应相机标定

1

研究方向

计算机视觉、摄像机标定

2

课题背景

摄像机标定是计算机视觉中非常重要的一环，传统标定方法需要人工拍摄特定标定板。目前桔视行车记录仪已安装超过60W台，每天能够采集海量车外数据及对应的实时GPS轨迹。此类数据在地图创建，更新上具有极大的价值。但绝大多数行车记录仪没有进行严格标定，内参外参均未知。希望能有一种简洁高效方法，在无需人工干预的情况下，自动求解内参及外参。

3

研究目标

构建自适应行车记录仪标定方法，能够在无需人工干预情况下，依靠行车记录仪自身采集的影像数据，GPS数据，以及IMU数据进行自标定。输出行车记录仪的各项参数。包括地平线位置，道路消隐点位置，摄像头横滚角，摄像头俯仰角，摄像头与车辆直行方向夹角，摄像头距地面高度，畸变系数等。这些输出应该满足以下要求：

1）. 精度要求

角度类别误差在正负1度以内，像素类别误差在5像素以内，距离类别误差在10cm以内。

2）. 约束条件要求

在安装过程中尽量避免过于繁琐的标定要求，若有标定过程应控制在1分钟以内。GPS，IMU和图像时间戳存在一定偏差，目前设备暂无法做到秒级以内同步。可以选择性使用对外采集的数据，但整体使用图片数单台设备不应超过100张。计算过程不宜过于繁琐，单台设备标定应控制在秒级。

注意

1.更多项目信息，请关注主题研究计划官方主页：

https://outreach.didichuxing.com/youthfunding

2.项目组邮件通知：

[e-mail] 

3.学术合作官方微信账号：

滴滴科技合作

相关阅读

编辑 | 贺贺

阅读原文，

了解关于青年学者科研基金更多信息！