武汉大学肖雄武博士：无人机影像实时处理与结构感知三维重建
点击图片上方蓝色字体“慧天地”即可订阅
（点击图片可放大观看，更多精彩请留意文末推荐)
核心提示：无人机影像实时处理和三维重建是摄影测量与计算机视觉领域的研究热点。在GeoScience Café第181期活动中，肖雄武博士（武汉大学测绘遥感信息工程国家重点实验室2014级博士研究生）介绍了无人机影像实时处理的关键技术与具备结构感知功能的倾斜摄影测量三维重建技术。
主持：张展 摄影：于智伟、赵欣 摄像：郑镇奇 文字：于智伟
>>>人物名片
肖雄武，测绘遥感信息工程国家重点实验室2014级博士班班长，师从摄影测量与遥感领域著名专家李德仁院士和郭丙轩教授。2016-2017年，曾在美国加州大学欧文分校公派留学。作为主力人员，参与多项国家重大科研项目。获得博士研究生国家奖学金、国家公派留学奖学金、王之卓创新人才奖等奖励，优秀研究生标兵、优秀学生干部等荣誉称号。目前已在《ISPRS》、《Remote Sensing》、《测绘学报》等刊物发表论文15篇，申请专利1项。
>>>报告现场
2017年12月8日，肖雄武博士做客Geoscience Cafe第181期学术交流活动，探讨了无人机影像实时处理的关键技术，同时介绍了顾及场景结构特征的倾斜摄影测量三维重建系统Photo3D关键技术、无需IMU数据的低成本多源无人机影像高精度全自动三维重建技术。最后，肖雄武博士也分享了自己的科研故事、国家公派留学相关经验。
无人机影像实时处理关键技术探讨
无人机影像实时处理可以应用于抢险救灾、应急处突等众多领域。我们从获取到的无人机影像中可以获得很多有用信息。例如在抢险救灾领域，通过对无人机影像进行处理，可以看到滑坡、房屋倒塌、 41 36998 41 15263 0 0 3863 0 0:00:09 0:00:03 0:00:06 3863堰状况等信息，所以无人机影像实时处理具有非常广泛的应用价值。
无人机影像处理的传统实施方法是将相机拍摄的影像通过USB接口传输（或实时传输）到PC端，在PC端对影像进行处理。
图1无人机影像处理的传统实施方法
肖雄武介绍了两种基于FPGA（Field－Programmable Gate Array，即现场可编程门阵列）的实时处理实施方案。方案一：相机CMOS/CCD，连FPGA，连工控机。方案二：相机CMOS/CCD，连FPGA。该方案直接将CPU/GPU算法集成到FPGA，就不需要工控机了。例如，用LabView等语言编写无人机影像实时拼接算法并集成到FPGA。
FPGA具有高效、速度快、并行，低功耗，尺寸小、重量轻，连接任意个数CMOS，成本低等优点。
无人机影像实时拼接的一种常用方法是：不断地利用单应矩阵来将有重叠区域的图像进行合并。当两幅图像之间的单应矩阵已知时，就可以将它们拼接在一起；把拼接好的图像当作一幅新图像；然后计算新图像和后续图像之间的单应矩阵，就可以实现整个图像序列的拼接。这种两两拼接的方式实现简单，但是没有考虑整体优化，在拼接的过程中会造成误差的不断累积，进而导致拼接图像的变形。
肖雄武介绍了一种新方法，该方案由两个部分构成：实时空中三角测量和正射影像DOM实时生成。在实时空中三角测量部分，所涉及的关键技术：(1) 基于多核CPU和GPU加速的大高差大偏角影像立体匹配技术。采用先进的特征匹配技术，对无人机数据具有很强的适应性，对测区大小、形状没有严格限制，适用于大偏角影像、大高差地区。匹配算法采用多核CPU和GPU加速，以满足实时处理需求。(2) 高精度实时光束法平差技术。采用增量式光束法平差技术，首先对实时获取的少量影像数据进行快速匹配和平差处理，然后不断加入新的影像数据，借鉴SLAM技术思想，进行实时匹配和定向，并隔一段时间进行一次整体光束法区域网平差，既保证达到实时处理效率，又保证达到高精度空三处理要求。(3) 基于高密度特征匹配点快速加密技术的数字高程模型快速生成方法。空三和DEM生成一体化，所有连接点参与光束法平差，利用先进的三角网构建和剖分算法对空三结果进一步快速加密并直接生成三角网DEM。在正射影像DOM实时生成部分，利用原始影像的实时高精度位置姿态数据和数字高程模型（DEM），对影像数据进行实时重采样正射纠正和镶嵌（并可以选择在该过程中对影像纹理数据进行匀光匀色和羽化处理），实时生成测区正射影像产品。
图4 一种新的无人机影像实时拼接方法
图5 武汉大学珞珈广场和信息学部友谊广场正射影像产品
具备结构感知功能的倾斜摄影测量高精度全自动三维重建
肖雄武介绍了一种具备结构感知功能的倾斜摄影测量三维重建整体流程：首先获取倾斜影像和GPS数据，接着对影像进行匹配和定向，然后通过光束法平差处理得到空中三角测量结果。之后进行密集匹配和深度图融合，然后利用具备结构感知功能的构网算法实现三维表面模型的重建，最后进行纹理映射。
对于单镜头的低成本无人机影像数据，一般采用常见的计算机视觉匹配和定向方法。对于多源无人机影像数据，提出了一种无需IMU数据的大视角影像匹配方法。已知摄影基线长度，对各视影像分别进行匹配、定向和光束法区域网平差，获得匹配连接点的物方坐标，以物点坐标为中心建立物方面元，并通过迭代方法不断对物方面元的中心点位置和法向量进行优化以消除该面元对应局部影像纹理的仿射变形，以面元纹理中心为特征点建立描述子。对各视影像的面元纹理中心特征进行匹配，面元中心特征匹配结果即为各视影像连接点互相匹配结果。
针对Mesh模型不平整、棱角不突出的问题，提出了一种顾及平面和边界结构特征的三维表面高精度重建方法。首先对密集点云进行平面检测，对点云进行去噪和平整，从而得到优化后的点云，然后利用点云和原始影像检测出建筑物边界，将检测出的边界点加入到优化后的点云中。其次，对泊松重建算法作了较多改进。例如，(1)采样点（指点云中的一个点）的深度值与该处重建出的局部表面精度有很重要的关系。针对泊松重建算法计算采样点深度值不够准确和灵活的问题，设计了一种顾及结构知识的采样点深度值自适应计算方法，可提高表面重建的精度并尽量保证模型平整，减少一定的存储空间。(2)通过设计一些策略，使得在泊松构网的最终结果中保留住边界点。
在纹理映射阶段，课题组共同设计了一种高分辨率自动纹理映射方法。利用精确投影矩阵计算物方（即Mesh三角网）与像方的几何投影关系，获得与地物面对应的影像纹理信息，然后通过一种快速的遮挡检测技术剔除有遮挡现象的影像纹理信息，最后通过一定的最优算法选择出地物面的理想纹理并进行匀光匀色和羽化镶嵌，实现高质量三维模型纹理的自动提取。
个人科研经历与故事
随后肖雄武介绍了个人科研经历。本科毕业于长江大学地理信息系统专业的他，具有坚实的数学、英语基础和较好的编程基础，并担任学生会和班级主要学生干部，具备较强的组织协调能力。
在硕士生阶段有幸加入郭丙轩教授的团队，在郭老师的团队中得到很多项目锻炼的机会，例如，他到研究小组第一周设计的一种彩色晕渲图制作算法取得了比ENVI 4.5软件更好的效果，随后在核心期刊发表了第一篇科研论文。
之后，在2013年初有幸参与了李德仁院士领衔的倾斜摄影测量全自动三维重建项目，并在李院士和郭丙轩教授的悉心指导下负责完成了国内首套倾斜影像自动空中三角测量软件，随后被李德仁院士录取为博士研究生。在李德仁院士的团队中，李院士经常鼓励学生大胆质疑和提问。李院士平时很关心学生的学习、工作和生活，经常教育学生要自主创新，这也让肖雄武在博士期间受益良多。
在博士期间，他有幸获得加州大学欧文分校公派留学机会，在留学期间，研究了较为前沿的无人机影像实时处理技术、结构感知三维重建技术。
从普通本科到国家重点实验室，再到国家公派留学，最后学成回归国家重点实验室，肖雄武总结为两句话：“越努力，越幸运”、“永不放弃，坚持到底”。
国家公派留学相关经验
最后，肖雄武跟大家分享了国家公派留学的一些相关经验，主要包括联系国外导师、申请国家资助、国外留学等三个方面。
关于如何联系国外导师和申请国家资助，首先要确定自己感兴趣的研究方向，查找自己感兴趣研究方向的一些顶尖导师，了解相关导师的学术水平、学术活跃度、研究进展。其次是联系国外导师，可以发邮件，介绍自己的相关学习和科研情况，咨询是否有招收学生的意向。在这个过程中，外导可能会进行视频面试，面试中会询问一些较为轻松的关于学习、生活、科研方面的问题，假如顺利，外导会同意招收并开具邀请函。肖雄武鼓励大家要大胆的说英语，只要和外导之间能进行正常的沟通交流就可以让外导帮忙开具英语证明，节省考雅思和托福的时间与精力。最后，就是要制定研究计划，这个对于申请国家公派留学相当重要，一定要和国内国外导师密切沟通共同制定好研究计划。研究计划需要写出具体的研究内容和研究方案，类似博士开题报告，要尽量写详细，在这个过程中，肖雄武也指出一定要多与导师进行沟通交流，保证研究方案的合理可行。
在国外留学期间，需要努力学习、勤奋工作，多与国内外导师、课题组成员进行沟通交流，努力做出高水平成果，另外要多交朋友，互相学习和帮助。
互动交流
提问环节，观众们热情高涨，嘉宾选取了几位观众进行交流，并送出了由café出版的第二部《我的科研故事》作为提问奖励。
观众A：肖雄武博士您好！请问您对于大疆精灵4的影像拼接是实时拼接的吗？
肖雄武：目前我们采取的是一个略为简单的方案：相机CMOS/CCD，连FPGA，连工控机。由于大疆精灵4受到Camera Link、载荷和电量等的限制，目前不方便在机上实时拼接处理。现在是把图像传输到PC端进行处理，处理速度很快。后期，需要将实时拼接算法改写成LabView等语言并集成到FPGA。
观众B：肖博士您好！我注意到，您报告中展示的三维重建图，放大了很多倍。比如说阳台部分的边缘非常清晰，您提出的结合边缘检测等技术的新方法和一般的方法得到的重建效果差别大吗？还有，重建一栋这样的房子需要多少张照片？构网与密集匹配过程时间消耗大吗？
肖雄武：做这样一栋房子的三维重建大约需要四五十张照片。关于三维重建的效果，我们和一些已有的方法，包括一些商业软件相比，重建效果有所改善。例如Smart3D等商业软件全自动处理得到的三维重建结果，在一些地方会出现不平整的情况、在边缘地方也有一些问题，而我们的研究也是针对Smart3D等软件存在的这些问题来展开的。另外你提到的构网时间方面，构网过程不是很慢，我们在构网过程中用到的改进泊松重建算法，它自己内部也做了GPU的加速处理。但是密集匹配的过程比较需要时间，因为在这个过程中还做了深度图融合等一些操作，这些操作都是需要一些时间的。
观众C：肖博士您好！我刚刚看了您求学经历中，亲身经历过中美的教育，您对此有什么亲身的感受？国内外关于摄影测量方面研究与培养的异同点有哪些？
肖雄武：这方面我简单谈一下我的个人看法。现在我们摄影测量与计算机视觉结合的比较紧密，美国主要是做计算机视觉方面的研究。我们摄影测量学科和计算机视觉学科也有一些差异，摄影测量主要讲究的是精度。在摄影测量方面，我们测绘遥感信息工程国家重点实验室是很顶尖的。做计算机视觉，美国有一些做得很好的顶尖高校。假如说你能进入华盛顿大学、斯坦福大学、约翰霍普金斯大学、伊利诺伊大学香槟分校、北卡罗来纳大学教堂山分校等这些顶尖高校，并且能够找到一个顶尖的博导，我推荐你去美国学习。如果你没有找到比较顶尖的高校或是导师，这些高校也不一定比我们实验室培养的博士生好。
观众D：肖博士您好！我想问您无人机实时处理的作用是什么？是为了实现图像导航吗？对处理的效率是否有很高的要求呢？
肖雄武：在讲座的一开始，我有说过一点无人机影像实时处理的研究意义和作用。无人机影像实时处理，在抢险救灾、应急处突等方面是很重要的。例如，在灾害发生后抢险救灾的过程中需要对受灾情况做一个快速的获取，对处理效率有很高的要求，我们利用无人机影像实时处理技术，就能够在灾害信息获取方面发挥作用。举个例子，我前段时间参加了一个大地震震后快速评估的国家重点研发计划项目，在项目中我就是做无人机影像实时处理这一块的，可以看出无人机影像实时处理的作用还是非常大的。
图10 观众认真听报告
图11 报告后交流
图12 肖雄武（中）与GeoScience Café团队成员合影留念
GeoScience Café以“谈笑间成就梦想”为口号，采取最自由的交流方式，每期邀请1-4位报告人，针对自己正在进行的研究展开报告。每周五晚7:30，在测绘遥感信息工程国家重点实验室四楼休闲厅举行当期活动。报告内容不仅涉及一切与测绘有关的学科内容及学术方法，如测绘基础学科、地理信息系统、摄影测量与遥感、全球定位系统、激光雷达技术、信号处理，还包括地理信息科学以外的话题，如法律和艺术等。让任何感兴趣的人——不仅是地理信息相关专业的师生，还包括其他专业的师生，甚至是文科生——都可以听取报告，并当场向主讲嘉宾提问或者会后与其交流。
来源：测绘遥感信息工程国家重点实验室（版权归原作者及刊载媒体所有）
荐读
点击下文标题即可阅读
编辑 /王怡波 审核 /卞艺潼 荐稿 /李茂永
指导：万剑华教授(微信号wjh18266613129)