【金猿案例展】竞赛方案：“5G+无人机”智能应急救援
数之联案例
大数据产业创新服务媒体
——聚焦数据 · 改变商业
面临自然灾害频发、公共安全形势严峻复杂等情况，迫切需要补齐信息化短板，综合运用5G网络、大数据、物联网、云计算、人工智能等新技术，建设具有系统化、扁平化、立体化、智能化、人性化等特征的现代化应急救援系统。
在此背景下，四川省通信管理局、四川省应急管理厅、四川省总工会决定于2019年5月启动“四川省5G+应急应用职业技能竞赛”，该竞赛旨在面向社会、企业及个人等广泛征集5G+应急应用，凝聚全社会的能力与资源，进一步探索5G在监测预警、安全生产、消防防火、应急调度等应急场景潜在需求、业务模式和技术支撑，深入挖掘并孵化一批5G+应急特色应用。
项目启动——2019年5月17日，四川省通信管理局、四川省应急管理厅、四川省总工会联合印发川通局联〔2019〕2号文—“关于举办2019年四川省5G+应急应用职业技能竞赛的通知”。
选拔赛阶段——2019年7月26日前，完成系统研制，并提交参赛方案。经过研判，数之联决定联合合作伙伴，采用基于无人机的影像实时拼接产品参赛。
决赛准备阶段——2019年8月1日，数之联参赛方案最终从47个项目中脱颖而出，以赛道第二名的好成绩顺利进入决赛。
决赛阶段——2019年8月30日，数之联方案—《智联救援-5G+无人机智能应急救援解决方案》通过决赛答辩，获得优胜奖。
面临挑战
工业无人机在空中搜救、应急救援等应用中具有定位精度高、续航时间长、应急决策快、环境适应性强等突出优势。但目前在大规模灾害救援的情形下，两种主流的无人机应急监测方式均存在一定缺陷：
1、无人机搭载光电吊舱的方式虽然可以实现对现场态势的实时直播，但只能获取局部信息，无法为指挥人员提供灾害现场的全局态势；
2、无人机搭载正射相机的传统航测方式，一般采用“航空摄影-像片野外控制测量-摄影测量空三加密-模型定向-地形测图”的作业模式，成图工序复杂、生产周期长、效率低，并且需要布设大量野外地面控制点，对于森林、山区、河流等无法涉足或找不到合适地面控制点的地区，其应用受到限制，无法真正发挥无人机遥感快速响应、灵活机动的优势，制约了无人机在应急救援中的应用价值。
此外，目前对无人机影像的判读也多为事后目视解译，无法快速自动提取灾情信息，同时由于缺少对气象、地质等环境数据的融合分析，也不利于应急指挥人员开展科学高效的救援决策。
综上所述，面向滑坡、泥石流、森林火灾、洪涝等大型灾害的无人机影像实时处理与智能决策分析问题亟待解决。目前基于人工智能的无人机影像实时处理及目标解译技术还在起步阶段，若获得成功必将为该问题的解决提供直接的方法和技术支撑，为基于无人机的防灾减灾与应急救援研究提供有效的借鉴，并有望拓宽工业无人机的应用场景，为无人机的产业发展提供重要支撑。
无人机搭载摄像头实时视频直播示意图
传统无人机航拍与数据处理流程图
应用场景
系统优势
“5G+无人机智能应急救援系统”在实时性、适应性与通用性、灵活性三个方面均有明显的优势。
实时性
1、数据传输的实时性：基于新一代5G蜂窝移动通信网络，为网联无人机赋予了实时超高清图传、远程低时延控制、永远在线等重要能力。
2、数据处理实时性：利用基于AI、计算机视觉、WebGIS等技术的影像实时拼接与快速解译算法模型，可以将实时回传的影像数据准实时处理，从而实现从任务下达到决策制定全流程的实时性与自动化。
适应性与通用性
1、无人机平台适应性：系统采用新一代纯电动垂直起降固定翼无人机平台，可挂载多类任务载荷，同时具有续航时间长（2~6小时）、飞行高度高（可达5000米）、环境适应性强（抵抗6级风）等特点，具有很强的适应性。
2、软件系统通用性：无人机影像实时拼接系统及智能分析决策系统的输入数据仅为航拍影像、图像POS（定位定向）数据以及相机参数，数据格式无特殊要求，所以软件系统具有多无人机平台的通用性。
灵活性
1、无人机系统灵活性：系统采用新一代纯电动垂直起降固定翼无人机平台，具备多旋翼无人机垂直起降和定点环绕的优势及固定翼无人机速度快和航时长的优势，拥有拆卸组装快（1分钟内完成）、运输携带便捷等特点，遇有情况可迅即投入使用。
2、软件系统部署灵活性：在不同的工作模式下，无人机影像实时拼接及智能分析决策两个软件系统既可以部署在计算机硬件中作为无人机地面系统的一部分使用，也可以部署在云平台中在线进行数据处理与分析。
应用场景
综上所述，系统具有“态势感知全域化、数据处理实时化、决策分析智能化”的突出优势，可广泛适用于各类应用场景。
●灾害应急：地震、滑坡、泥石流、洪水、森林火灾等大范围灾害发生时的应急决策与指挥救援。
●国土测绘：对于森林、山区、河流等无法涉足或找不到合适地面控制点的地区，实现测区整体环境的快速勘察，为航线规划及控制点布设提供依据。
●公共安全：满足大型会务环境巡逻，突发事件处理，边境、敏感区域巡逻等需要。
●目标搜寻：助力人员搜救、坠机搜寻、飞机、车辆等目标搜寻工作。
●环境保护：开展秸秆焚烧点搜寻，污染源搜索等工作。
数据支持
由于比赛演示现场的条件限制，不便使用无人机进行现场飞行作业，因此现场演示数据采用2019年6月20日长宁县双河镇（约1.5km²）震后的无人机监测数据。无人机监测数据主要包括航拍影像、定位定向数据（Position and Orientation System, POS）以及相机参数三类。
航拍影像
共180张6000*4000分辨率的航测相片（分辨率为3cm），总容量约1.8G，文件格式为JPG。
POS数据
集动态GPS定位技术和惯性导航技术（INS）取于一体的定位定向系统（POS）应用于航空遥感，可以直接得到影像的6个外方位元素，实现直接对地目标定位，打破了传统航空摄影测量和GPS辅助航空摄影测量必须进行空中三角测量的限制。
POS数据的文件格式为CVS
相机参数
由于每次航拍作业的相机选型存在差异，所以系统支持手动录入相机参数。相机参数模板如下图所示：
应用技术／实施过程
技术方案
“2019年四川省5G+应急应用职业技能竞赛”的总体技术架构如下图所示，“5G+无人机智能应急救援系统”主要属于终端感知层和综合应用层，其中无人机搜索监测系统为终端感知层产品，无人机影像实时拼接和智能分析决策系统属于综合应用层。
5G+应急应用总体技术架构
“5G+无人机智能应急救援系统”的整体业务架构如下图所示。
5G+无人机智能应急救援系统整体业务架构
工作模式
“5G+无人机智能应急救援系统”的工作模式主要包括三种：
工作模式1：本地处理+5G发布
本模式主要针对重大自然灾害发生后基础网络严重损毁的场景，以软硬件一体的方式集成在无人机地面系统，在无人机航拍飞行过程中通过微波图传链路实时传回航拍影像和POS数据，在本地进行实时的无人机影像拼接和智能决策分析处理，并将分析后的信息通过5G应急通讯网络进行Web发布，从而实现远程指挥中心对现场态势的快速、实时感知。
本地处理+5G发布模式示意图
工作模式2：云端处理+5G网联无人机
本模式下，无人机终端和地面控制终端均通过5G网络进行数据传输和控制指令传输， 5G网络的大带宽、低时延优势可实现图像实时回传至云平台，通过部署在云端的影像实时拼接与智能决策分析系统开展业务应用，融合AI深度学习能力，快速要素解译实现多手段的目标锁定及实时监控。
但本模式比较依赖无人机的新空口5G天线设备，当前相关技术及设备还处于研制初期，5G芯片和5G终端也还没有到位，大规模的商业应用尚不成熟。
5G网联无人机模式示意图
工作模式3：云端处理+5G网联地面站
本模式下，无人机搜索系统内部的图像及控制指令传输依然使用微波通信链路，地面站通过5G通信链路（有线/无线）将本地数据实时发送到云端，通过部署在云端的影像实时拼接与智能决策分析系统开展业务应用。
在5G技术的应用初期，本模式是5G+无人机智能应急应用的最佳选择，利于快速推广实施。本模式也是本次竞赛实际采用的工作模式。
5G网联无人机地面站模式示意图
系统组成
“5G+无人机智能应急救援系统”主要由无人机搜索监测系统、影像实时拼接系统和智能分析决策系统组成。下面重点对我公司研制的“无人机影像实时拼接系统”和“智能决策分析系统”进行介绍。
无人机影像实时拼接系统
无人机影像实时拼接系统是我公司独立研发的全国首套基于固定翼无人机的影像实时拼接软硬件一体化产品，可在应急现场提供从实时数据采集到数据处理分析的一站式解决方案，实现对现场态势的实时全域感知，达到“目之所及、图之所至”的效果。帮助用户解决了传统航测中内外业分离、响应周期长等问题，全面提升航测作业效率，可高效应对应急场景下快速响应、高效决策的需求。
智能分析决策系统
智能分析决策系统可自动提取图像中的灾情目标，快速统计如数量、面积等信息；同时，在融合气象、地质等环境因素后，可辅助专家进行快速、科学的综合指挥调度。
外部合作
外部合作伙伴主要包括：四川傲势科技有限公司、中国电信股份有限公司四川分公司、华为技术有限公司、中国铁塔股份有限公司资阳市分公司、成都新橙北斗智联有限公司。
1、四川傲势科技有限公司，负责“无人机搜索救援系统”的设计与建设，具体包括无人机平台、地面控制站、数据链以及多任务载荷四部分，在大系统中属于感知层产品。
2、中国电信股份有限公司四川分公司，负责提供竞赛演示区域和演示现场所需要的5G覆盖和网络接入，保证无人机搜索救援系统与无人机数据处理云平台的数据连接。
3、华为技术有限公司，负责提供华为公有云基础平台：网络、计算、存储、安全、虚机等公有云IaaS资源，并保证无人机影像实时拼接系统和智能分析决策系统的顺利运行。
商业变化
“5G+无人机智能应急救援解决方案”将无人机和5G技术深度融合，结合数之联自主研发的无人机影像实时拼接系统，将在处理自然灾害、事故灾难以及社会安全事件等方面发挥出重要作用，为基于无人机的防灾减灾与应急救援研究提供有效的借鉴，助力我国航空应急救援体系发展，有效推动“5G+无人机”防灾应急产业的变革，具有巨大的产业价值。
传统应急航测方法与基于计算机视觉的智能处理方法比较如下表所示：
——END——