基于系留无人机的应急测绘技术应用
王永全1,2, 李清泉1, 汪驰升,1,2,3, 朱家松1,2, 王新雨1,2
1. 深圳大学城市空间信息工程广东省重点实验室,深圳 518060
2. 深圳大学海岸带地理环境监测自然资源部重点实验室,深圳 518060
3. 自然资源部城市土地资源监测与仿真重点实验室,深圳 518000
传统测绘比较注重“准”,而忽视了“快”。现代应急测绘需要“既快又准”。如果使用传统的测绘技术方法将会消耗大量的时间,会影响到应急救灾的及时性。系留无人机可以采集高质量的数据,并且能够进行实时的长时间视频监测。首先,介绍了系留无人机应急测绘的应用现状、特点优势和应用场景; 然后,提出一种利用系留无人机采集高质量的影像数据和视频数据生产测绘数据产品,并通过Darknet深度学习框架对视频目标进行识别的经验和方法; 最后,在不同场景下进行模拟实验和实际应用。实验结果表明,该方法能够为救灾抢险提供及时有效的测绘保障。
关键词： 系留无人机 ; 应急测绘 ; Agisoft PhotoScan ; Darknet
引用格式
王永全, 李清泉, 汪驰升, 朱家松, 王新雨. 基于系留无人机的应急测绘技术应用. 国土资源遥感[J], 2020, 32(1): 1-6 doi:10.6046/gtzyyg.2020.01.01
WANG Yongquan, LI Qingquan, WANG Chisheng, ZHU Jiasong, WANG Xinyu. Tethered UAVs-based applications in emergency surveying and mapping. REMOTE SENSING FOR LAND & RESOURCES[J], 2020, 32(1): 1-6 doi:10.6046/gtzyyg.2020.01.01
0 引言
目前世界范围内的防灾减灾形势严峻,各类灾害对人类经济、社会发展的影响不断加剧[1]。应急保障,测绘先行。应急测绘需要“既快又准”,但是传统的测绘装备与方法主要以“准”为目标,其对数据采集、存储、处理、显示的要求都比较高,数据处理周期较长,难以满足应急测绘的要求[2]。近几年来,测绘装备和技术的发展逐渐能够对突发灾害进行快速的响应,获得的测绘数据成果可以作为救灾减灾的重要参考依据。无人机在测绘领域的广泛应用,加快了数据采集的速度。目前市场上存在的无人机数据处理软件也层出不穷,也使得无人机数据的处理更加自动化,速度和精度都得到了大大的提高[3,4]。无人机的发展虽然迅速但是也很快遇到了瓶颈,比如续航时间短、稳定性较差、操控复杂、需要非常专业的人员操作等。系留无人机的横空出世,弥补了普通无人机的不足。通过系留设备,无人机的续航问题得到解决,稳定性也更好,也更加容易操作。特别适合在应急测绘的场景下使用,能够很好地满足应急测绘在复杂环境下的多种要求。
本文针对应急救灾的场景,结合Agisoft PhotoScan软件,对灾害现场进行测绘,生成多种类型的测绘数据,使用Darknet深度学习框架对重大公共安全事故现场进行目标物的识别,最后总结出一套基于系留无人机的应急测绘数据处理的经验与方法。
1 系留无人机应急测绘应用的发展现状
随着系留无人机设备和技术的快速发展与日益成熟,为满足防灾救灾的迫切需要,系留无人机开始逐渐涉及到应急测绘领域。美国和以色列在系留无人机方面已经有了很成熟的技术。以色列航宇工业公司生产的HoverLite系留无人机可以可以在15 s内升至50 m高度并悬停,有效载荷达到6 kg; 美国CyPhy公司研制的PARC系留无人机可以在122 m的高度悬停,有效载荷为1.8 kg,可以进行移动目标的跟踪; Drone Aviation公司研制的Bolt系留无人机可以在250 m的高度悬停,并且能够实时传输高清视频和安全通信。应用领域方面,美国很早就用系留无人机进行建筑物垮塌现场的应急测绘[5]; 法国也开始使用系留无人机进行海洋石油泄露的应急测绘[6]。
在国内,也有很多研究单位和企业在积极探索系留无人机相关设备的研发与生产。例如北京卓翼智能科技有限公司研制的“天枢-100”可以一键起降并且自动跟随及悬停; 北京大工科技有限公司研制的大工科技系留无人机系统有效载荷可以达到15 kg,可以检测故障并自动降落。
除了系留无人机外,各类研究机构也开始研发系绳系统,比较有代表性的是法国ELISTAIR公司研发的盘绳系统,Drone Aviation和Drone Nerds合作为DJI(大疆)商用无人机推出的FUSE系绳系统等。
目前国内的系留无人机主要应用在应急通信领域和无线电监测领域[7,8],在应急测绘方面的应用尚属空白。系留无人机系统的不断完善将在未来的应急测绘领域展现更强大的能力,为提升我国的防灾减灾能力提供强有力的保障。
2 系留无人机应急测绘应用的特点及优势
系留无人机在应急测绘的应用,主要以获取高空间分辨率的数字影像和视频为目标,以系留无人机为平台,搭载高清相机,通过3S及深度学习网络等技术对获取的原始数据进行处理,最终获得小区域、高精度、现势性强、大比例尺的数字高程模型(digital elevation model,DEM)和数字正射影像(digital orthophoto map,DOM)等测绘数据。还可以连接视频识别框架,用于公共全安事故中的人群和车辆等目标的识别。系留无人机能够很好地补充普通无人机和遥感卫星的空白,主要有以下优点:
1)滞空时间长,稳定性好,安全性高。系留无人机可以通过地面供电,滞空时间得到大大提高,可以24 h悬停,48 h不间断观测; 系留无人机具有更好的抗风能力,且有系留电缆连接,具有更高的稳定性和安全性。
2)有效载荷大,精度高。系留无人机解决了供电问题,有效载荷得到增加,可以搭载更多的传感器,传感器的姿态也更加稳定,可以获取的数据更多、精度更高。
3)成本低廉,部署时间短,覆盖灵活。目前系留无人机的模块集成化较高,普通无人机稍加改装即能使用,且部署的时间短,能够在大多数灾害现场部署,覆盖更加灵活。
4)运输便捷,环境适应能力高。系留无人机体积比较小,普通汽车就能运输,工作方式有地面固定、车载移动,船载移动等多种模式,能够适应各种危险复杂环境。
3 系留无人机应急测绘应用的数据处理方法
系留无人机采集的数据类型有很多种,根据搭载的传感器的不同,可以获取不同类型的所需数据。可以搭载的传感器包括可见光高清相机、微波雷达、红外相机等。系留无人机的数据处理方法和普通无人机的数据处理方法一样,所以系留无人机的适用性更强,也更容易入门。近年来,国内外的无人机数据处理软件都在快速发展,国外的软件有瑞士的Pix4D Mapper,俄罗斯的Agisoft PhotoScan,美国的UASMaster,德国的Inpho,法国的Pixel Factory等; 国内的软件有中国思维公司的JX4,中国测绘研究院的PixGrad,武汉大学的DPGrid等。这些软件基本上都实现了对无人机影像数据的自动化处理。
本文以地质灾害、社会公共安全和重大交通事故3个场景为例进行系留无人机应急测绘应用的数据处理。结合Agisoft PhotoScan软件对某垮塌现场进行三维建模和DOM生成; 使用Darknet深度学习框架对深圳大学2019年军训时的人群进行检测和对某交通事故现场的人车进行识别和统计。
3.1 基于Agisoft PhotoScan软件的测绘数据处理方法
Agisoft PhotoScan软件所使用的建模方法为运动信息中恢复三维场景结构(structure from motion,SfM)方法[9]。本文通过系留无人机获取实验区域的视频,然后通过视频抽帧方法,获取一系列高重叠度的影像,然后将影像图片导入到Agisoft PhotoScan软件进行后处理[10,11,12]。
Agisoft PhotoScan软件处理数据的常见问题及处理方法包括: ①遇到一些复杂场景或者发生故障的路段时,根据地面控制点进行划分测区处理,再进行图像拼接,可以提高图像的处理效率和准确性; ②对于一些质量比较差的照片可以剔除,软件会自动调整测区中的相关参数,从而避免不必要的冗余; ③选择地面控制点时,尽量精确到点且均匀分布,不选择接近影像边缘的点。
对于处理好的数据,用户可以根据需求导出想要的成果,可以导出的成果包括: 三维点云、DOM,DEM和Google KMZ文件。导出的三维模型有PDF和obj格式,PDF格式可以在Adobe Reader上查看,obj格式可以在3D Builder上查看。Google KMZ文件可以在Google Earth软件上打开,与Google Earth影像叠加,可以进行信息的挖掘。
3.2 基于Darknet框架的实时视频目标识别方法
Darknet是一个比较精简的开源深度学习框架,它完全基于C语言和CUDA进行编写,还可以结合OpenCV来使用。安装简单,易于移植,支持CPU和GPU 2种计算方式。不同于现在比较流行的Tensorflow以及Caffe框架,Darknet框架的应用的算法是YOLO(you only look once)算法[12]。YOLO是基于卷积神经网络的算法,其优点在于: ①识别的速度非常快; ②基于图像的全局信息进行预测; ③泛理解化能力强; ④准确率高。表1是YOLO与其他算法的对比。
深度学习模型要通过大量的样本训练来提高识别的精度,在进行视频识别之前,需要对大量的样本进行标定。本文使用YOLOv3训练一个小型的特定类别的目标检测器。训练过程步骤为:
4 系留无人机应急测绘的应用场景
系留无人机可以搭载高空间分辨率的相机,能达到专业测绘无人机的要求精度,且具有较长的滞空时间,更强的稳定性等特点,而且后期数据处理成本低、速度快,自动化程度高,能够承担受灾区域和危险区域的长时间、高精度的应急测绘,是目前甚至将来一段时间内,最有效、最经济的应对应急测绘难题的一种方法。以下将从塌方和泥石流等地质灾害、重大公共安全事故和重大交通事故等3个场景简述系留无人机的应急测绘应用。
4.1 地质灾害场景
在我国的南方地区很容易发生泥石流、滑坡等地质灾害,当这些地质灾害发生时很难对灾害进行精确的评估和认定。系留无人机可以快速地获取灾区的三维模型,并且进行定量的计算(例如计算塌方量、确定堰塞湖的大小等)。系留无人机能够为应急救援的决策者直观地展示灾害现场状况,并为灾害救援方案的制定提供数据支持。由于目前的灾害现场管理严格,非官方人员很难在第一时间获取灾害现场的航拍数据,故本文使用2015年12月21日深圳光明新区山体垮塌现场的航拍数据来模拟类似的地质灾害场景。图1为基于Agisoft Photoscan软件处理得到的深圳光明新区山体垮塌现场的DOM和实景三维模型。
图1 深圳光明新区山体垮塌区域DOM及实景三维模型
4.2 社会公共安全场景
2014年上海外滩的踩踏事件因应对处置不当等原因造成了严重安全事故。在这种大型的人群聚集区,需要系留无人机进行现场的安全保护。系留无人机可以解决普通无人机滞空时间短、稳定性差的问题,可以在大型活动的全部时间段进行监测。无人机获取的数据通过通信端口传输到地面终端,通过深度学习网络,对现场人员位置和流动情况进行监测。当发生危险情况时,可以给地面的管理人员实时地提供人员分布和流动情况。工作人员根据无人机数据制定合理的救援方案,很好地疏导人员,减少伤亡。本文所用的系留无人机系统是由大疆M600pro和系绳设备组成,搭载的传感器是大疆禅思Zenmuse X3高清相机(可以拍摄4K高清视频)。通过Darknet深度学习框架对军训的人群进行识别与检测。经过训练的模型的平均精度均值 (mean average precision,mAP)可以达到90.1%。由于一般的大型车站和广场管制比较严格,很难获取数据,故本文以深圳大学2019年军训的学生队列为例进行模拟实验。图2是系留无人机系统组成。图3是2019年深圳大学军训系留无人机人群识别检测。
图3 2019年深圳大学军训系留无人机人群识别检测
4.3 重大交通事故场景
随着我国汽车保有量逐年增加,交通事故的发生频率也在增多。当道路发生交通事故时,如果不能及时快速地得到处理,很容易发生交通拥堵,甚至发生二次事故。快速获取交通事故现场的情况就非常的重要。通过系留无人机可以获取交通事故现场的实时视频信息,并且可以通过深度学习网络,识别道路上的车辆类型和人员,有利于疏导交通和制定具体的救援方案。由于重大交通事故发生后非救援人员很难进入事故现场,所以本文选择了2016年4月2日沪宁高速常州段发生的严重交通事故的航拍视频为模拟数据,来模拟类似的重大交通事故现场。图4是基于Darknet框架的视频目标识别系统在沪宁高速常州段交通事故现场的应用。
图4 2016年沪宁高速常州段交通事故识别
5 结语
1)本文论述了系留无人机系统的优势和系留无人机数据的处理方法以及在应急场景中的应用。
2)系留无人机具有续航时间长、稳定性好、易操作等特点,是承担突发灾害现场大比例尺测图任务、三维建模、目标识别的较为经济有效的技术手段。
3)系留无人机的测图和实时监测功能可以满足突发灾害现场提出的快速、精确、持续性的应急测绘任务,在应急测绘领域具有得天独厚的优势,在未来的智慧城市建设以及应急救灾中会提供更加有效的测绘支持。