涨姿势|遥感大数据十问十答
洪阳教授
——专访国家“千人计划”专家、清华大学遥感大数据中心主任
近年来,我国大数据产业快速发展,据贵阳大数据交易所发布的《2016年中国大数据交易产业白皮书》数据显示,2014年,中国大数据产业规模大约为1038亿元,2015年产业整体规模达到1692亿元。当前,随着数据技术的快速发展,大数据观念和应用已不再只限于政府、金融、通信等领域。其中,自1957年第一颗人造卫星发射以来,人类对地球和人居环境的综合观测能力达到空前水平,尤其最近10年,地球观测与导航技术向全球尺度、定量分析、动态信息观测发展。美国已构建了最先进的陆地、海洋、大气对地观测系统EOS和最为完备的GPS导航定位系统,亚米级的高分卫星实现全面商业化,分米级的军事监测卫星和厘米级的全球精准定位已实现全天候服务。目前美欧日等国已基本实现全方位全天候遥感卫星观测。我国也在大力提升对地观测能力,包括风云气象卫星系列、资源卫星系列、海洋卫星、环境卫星等;更引人注目的是中国启动了“高分辨率对地观测系统”、“北斗卫星导航系统”两个重大专项。到2020年,中国将完全可能成为国际上卫星最多的国家。与航天科技、传感器技术等相结合的地球遥感数据已呈现出明显的大数据特征,其价值也受到越来越高的重视。全球遥感大数据资源,正在和即将为科研及行业应用提供充足的数据支撑。如何充分使用这些高附加值的数据资源,实现从“数据”到“价值”的转化,切实关系到国家科技创新及行业应用的跨越式发展。
本期大数据专刊,我们邀请国家“千人计划”专家、清华大学遥感大数据中心主任洪阳教授接受本刊专访,请他给我们介绍遥感大数据中心的建设情况,并深入探讨遥感大数据及其相关应用的发展现状和前景。洪阳教授提出:“我们应结合国家未来战略规划,做好遥感大数据与行业应用交叉融合创新,共同探索新商业化模式、新产业链格局,并结合“一带一路”等走出国门相关政策,拓宽商业卫星的产业市场,促进地球时空大数据时代和“太空经济”的来临。”
1、清华大学遥感大数据研究中心成立的缘起和过程是怎样的?其主要使命是什么?
随着航空航天科技、传感器和信息技术等高速发展,对地观测遥感呈现出典型的四维时空大数据特征。“遥感大数据”是顺应大数据时代发展的一个必然,是在大数据的理论指导及技术支撑下的遥感科学的实践(Utilization),是大数据在遥感相关领域的价值实现(Value)。而国际上针对遥感大数据的研究仍处于起步阶段,缺乏针对遥感大数据的科研创新及产学研创业研究,这对我国而言是很好的机会。清华大学遥感大数据研究中心,由清华大学数据科学研究院、土木水利学院、水沙科学与水利水电工程国家重点实验室、清华大学3S中心等院系联合发起,于2015年10月23日成立,该中心与清华大学土木水利学院、计算机系、电子系、建筑学院、交叉信息学院、软件学院、经管学院、医学院等组建成跨院系机构。该中心瞄准国内外重大对地观测计划,全方位促进学科交叉发展,发展以四维遥感数据链和物联网为基础的产学研用,服务现代水文水利、海洋、国土、农业、气象、城市、环境、交通、防灾减灾、规划等,从科学研究、学科建设、人才培养、产学研协同创新等,提升国内国际影响力。
遥感大数据领域与遥感机理、图像处理、信号分析、计算机等多类学科存在紧密联系与学科交叉,是应用性极强的一类科学技术。遥感大数据研究中心以应用需求为导向,交叉创新建设项目包括:高分数据产品、北斗数据产品、全球水循环产品、全球陆地陆表产品、无人机遥感产品、全球海洋产品。已搭建的平台包括:海洋大数据平台、水利大数据平台、农业遥感大数据平台、水文气象地质灾害大数据、GNSS-R、智慧城市、太空经济、医疗金融大数据。目前,遥感大数据领域在国内外都处于高速发展初期,正在形成“科研攻关—技术集成—应用推广”的良性产学研协同创新模式。
2、遥感数据在经济中目前已有的典型应用包括哪些?基于遥感大数据的经济分析与研究未来发展前景如何?
2016年六月《Science》期刊首次刊出用卫星遥感信息来评估少地面资料的非洲各国经济发展程度。因为在传统的经济研究中,一般采用调查统计方法获取数据,成本高、耗时长、不全面。卫星遥感被称为“Hard Evidence”,能对全球进行实时监测,时间空间分辨率以及光谱分辨率越来越高,能够很好地克服传统经济数据的缺陷,使其非常适用于经济相关地物的大范围识别与提取。
遥感大数据在经济分析中已逐渐开展的应用包括:(1)基于高分辨率遥感数据分析土地利用覆盖变化,如建筑物、植被、水体等的时空变化;(2)基于夜光遥感数据分析GDP、人口密度、水电量消耗和全球贫困区专题图;(3)基于高光谱遥感数据对农作物长势进行监测和产量评估。此外,遥感大数据中心的最新应用还包括:(1)鬼城指数,即通过高分影像、夜间灯光等多源遥感数据来分析城市入住率,反映建筑资源利用情况及其变化;(2)“一带一路”经济发展指标,即通过Landsat、MODIS、夜间灯光以及高分辨率影像等多源遥感数据来计算农业、工业及服务业的发展指数,能够表征经济在广泛的时空维度上的发展水平,以反映我国经济政策在国际上的影响力与带动作用。
当前遥感大数据在经济中的应用刚起步,未来结合深度学习的人工智能方法,能够进行实时、可靠的经济发展分析,为国际经济政策的制定提供有力的支持,并将在投资金融领域的行业应用中起到无可替代的作用。
3、硬件和数据库处理技术是大数据的基础,与国外相比,我国技术的积累及产业应用水准如何?优势与劣势表现在哪些方面?
目前很多开源的大数据处理软件给新型产业应用提供高效而低成本的开发研究。在大数据的存储硬件方面,出于成本的考虑,人们不再一味追逐单一硬件性能的提高,通过普通计算机集群的方式构建分布式系统,同样可以支撑大规模数据的存储与管理。因此,在大数据硬件基础上国内外差异表现得不明显,着重来谈一下数据库等基础软件技术。
国外在数据库处理技术方面一直处于领先的地位。过去30年里,传统关系型数据库占主导地位,全球数据库市场被相关巨头垄断,包括Oracle、Microsoft、IBM,这些公司的关系型数据库能够有效处理结构化数据。近几年在大数据时代的背景之下,半结构化和非结构化数据急速增长,传统数据库技术在处理这些数据上遇到了瓶颈,一些新兴数据库技术随之涌现,其中起源最早的是Google用于处理非结构化数据的k-v型数据库Big Table, 新型科技企业大力推广开源的软件,这些软件可以让高校、企业等可以快速的产业化。在非结构化数据存储处理方面,比较著名的有Cassandra这样的NoSQL。除了数据库,一些分布式系统架构,如著名的Hadoop和Spark,也有效应对了大数据环境下大规模异构数据处理、分析的压力。反观国内,本土数据库发展起步晚,技术积累不足,既面临行业寡头的垄断,又受到国外大批创新开源软件的冲击,产业应用水平自然很低。但在大数据时代下,国产数据库的发展引来了历史性的机遇。目前,大数据已经上升到国家战略的层面,国家部门、政府机关、企业单位、高校研究院等各方在对大数据核心技术的迫切需求下,正积极协作制定战略计划,共同营造良好的大数据生态环境。本土数据库技术的发展应抓住这样的契机,攻坚克难,有所作为。目前,清华大学遥感大数据研究中心在将NoSQL和Spark相结合建设空天地海遥感多源大数据平台,这些新的尝试将来可能会成为商业领域重要的产品研发基础平台。
4、您提出的水利大数据的定义是什么,它有什么核心和外延?水利大数据的重点研究领域及未来发展方向是什么?
我国水资源分布存在着严重的时空分布不均特性,旱涝灾害易发多发。作为农业和水电大国,水利工程在中国历史、经济、生态、社会等方面都扮演着重要角色,未来10年水利投入高达4万亿。水利大数据是在大数据的理论指导及技术支撑下的水利科学和工程的重要实践,是指产生于各种水利设施、水文监测网络、用水单位和水利相关的经济活动,并通过现代信息技术快速传输并分布存储于各子流域系统、但又可以快速读取集中于云端、实现深度数据挖掘并可视化的海量多源数据的总和。水利大数据存在以下特性:1)交叉性,由于水利和其它领域具有交叉性,因此水利大数据和遥感大数据、气象大数据、海洋大数据等交叉;2)高度时空分布性,需要依赖先进大数据技术进行处理分析,包括分布式大数据存储框架、机器学习等数据挖掘方法;3)多元循环性,由水的多元循环决定的水利大数据在自然生态、经济、社会等领域的价值循环,需要全面深入挖掘它们之间的相关性价值。
由于水利大数据存在多样性、真实性、海量、快速获取并具有多元价值等特征,水利大数据在水文气象地质以及洪涝灾害预测、水利设施安全监测、农作物估产、水资源调度等方面具有巨大的应用价值。我们团队潜心在这些方面进行了多年研究,部份科研成果正在市场化推进。我觉得水利大数据在未来的发展方向主要有以下几个方面:第一是在水利大数据的多元多维度信息化程度还有待加强;第二是分布于各部门之间的水利大数据的源数据共享及协作还有待提高;第三关于非结构化的水利大数据的处理能力有待加强;第四因为水利大数据的海量特性,需要进一步结合先进的数据挖掘方法以及人工智能技术研究,这也是当前研究的热点;第五是水利大数据关系国计民生,在推进水利大数据与相关行业以及环境生态社会领域的交叉研究和应用方面还有很多工作要做。总体来讲,水利大数据是一个金矿,需要包括我们团队在内的相关科研机构、业务部门和市场应用的交叉协作才能真正发挥其应有的社会经济价值。
5、海洋大数据的内涵、数据类型及潜在产业应用?海洋大数据平台建设的关键技术和挑战?
信息技术的快速发展,带动约占地表总面积70%的海洋资料快速积累,进入海洋大数据时代。海洋大数据即是在当前时代背景下,大数据技术在海洋领域的科学实践,具有大体量(Volume)、多样性(Variety)、快速流转(Velocity)和价值挖掘(Value)的“4V”特征,是在大数据的理论指导和技术支撑下的海洋价值实现,也是实施海洋强国战略、开发海洋资源、拉动海洋经济、维护国家海洋权益的重要基础。依数据类型海洋大数据分为两大类:海洋自然科学类大数据和海洋社会经济类大数据。前者包括海洋实测数据、海洋遥感数据、海洋模式数据和海洋再分析产品数据;而海洋社会经济数据包括海洋经济产业数据、海洋政治舆情数据以及海洋社会文化数据。未来,蓝色海洋经济将作为中国陆地经济的延伸和重要补充,目前海洋大数据搜集和管理更多偏重于海洋自然科学类数据,海洋社会经济舆情类数据的整合尚未引起足够重视;两类数据的严重分散,使得目前的海洋决策体系呈现出较为明显的跛脚状态,在海洋强国战略实施和国际关系实践领域中屡遭尴尬。
如何利用大数据相关技术,结合海洋应用特点,对海量、多源、异构的海洋观测和模拟数据进行快速、及时地分析和处理,开发和挖掘海洋大数据的应用服务,是海洋大数据平台建设的核心问题。这些应用服务包括海洋信息咨询、海洋目标监测、海洋资源开发、渔场渔情预报、海洋维权指挥、海洋防灾减灾,海洋航运保障、海洋生态环境保护等。
清华大学海洋大数据平台依托清华遥感大数据研究中心、清华大学海洋技术中心、清华海峡研究院、以及清华国观智库公司,与相关单位在技术研发、软硬件设备和人才交流进行合作,对包含海洋自然科学类和海洋社会经济类各类数据库进行整合,构建海洋自然科学、社会经济数据库网络、海洋政策舆情,建设海洋大数据共享与综合应用服务平台。该平台建设主要包括五个层面:数据获取平台、数据存储与计算平台、数据分析与应用平台、海洋信息可视化平台、海洋决策与发布平台。人类历史和国际关系的发展,已经证明海洋在国家发展中的重要性,未来海洋事业的发展会贯穿多个决策系统、影响多个战略环境、连接多个产业系统,它对中国政治、经济、文化、社会的影响必将是全方位、深层次的。发展海洋大数据可以为建设海洋强国提供重要支撑,海洋大数据以及相应的海洋大数据平台建设也将对中国产生广泛而深远的影响。
6、农业遥感大数据平台解决什么问题?主要优势是什么?
我国粮食安全形势依然严峻。影响因素复杂多变。基于遥感的大尺度作物生长环境、生长状况的动态监测显得尤为必要。通过遥感,我们可以从提取农业遥感要素,全方位分析作物生长状况。
农业与遥感、水文、气象密切相关,是遥感大数据研究中心成立之后的重点研发领域。农业遥感大数据平台基于多源数据,通过数据数据分析和模型预测,可以将农业及其相关产业链联动起来并结果可视化。清华农业遥感数据中心的核心优势包括多源数据库和模型算法。中心已收集整理了几十年的全球降水、水库灌溉、叶面积指数、地表温度、土壤湿度、作物高度、生物量、地表覆盖类型、作物覆盖度、叶绿素含量、作物健康状况、水文气象资料等。同时研发了作物生长、遥感农业估产模型和旱涝灾害风险动态算法等。农业遥感大数据的应用有非常广泛的现实意义,我们称之为“农业遥感大数据+”,即把农业遥感大数据与行业需求相结合,解决实际应用中的问题。例如:“农业遥感大数据+政府服务”,我们通过农业遥感大数据平台提取粮食产量、长势的预测、气象灾害预警相关的数据,输出个性化可视化报告,以此为政府的政策制定提供决策依据,优化公共资源配置;“农业遥感大数据+企业服务”,基于农业遥感大数据平台,我们可以为第一产业相关的企业提供种植区域内的土壤湿度、作物覆盖度等数据报告,以此帮助企业制定及优化市场及销售策略;“农业遥感大数据+金融服务”也是我们在推进的一个方向,即充分利用农业遥感大数据平台的优势,在农业保险、农产品期货交易等方面为相关金融机构提供服务。
7、今年我国极端天气频繁,在全国引发了罕见的洪涝灾害,请问遥感大数据对预测洪涝灾害有哪些帮助和作用?面临的挑战以及你们开展的工作有哪些?
关于遥感大数据在水文气象地质灾害预测预报中的作用,我认为这主要解决了大范围全天候的观测数据源问题。我国历来十分重视灾害预报工作,但传统的水文、气象预报服务工作所依据的原始信息,不论是信息深度、广度,还是准确性、时效性方面均有一定的制约,这是硬伤。近年来计算机、网络通讯、卫星遥感等高新技术快速发展,加之物联网时代的到来,大数据、云计算为水文、气象、地质灾害的预测预报带来了前所未有的机遇。因为只有高质量、高可靠性、更全面、更快速的输入信息才有可能快速对相关自然灾害进行更准确的预测预报。
基于遥感大数据的水文气象地质灾害预测预报也面临新挑战,具体体现在三个方面:一方面,水文气象地质灾害的预报对源数据的实时性要求相对较高,这对数据共享共建以及随之而来的信息安全保障提出了更高要求;第二方面,对所需要的多源海量、多时相的非结构化数据、半结构化数据的存储和处理提出了新的挑战;第三方面,对基于海量数据的灾害预测预报的机器学习、人工智能提出了新的挑战。关于数据共享问题,我们呼吁相关部门尽快实现数据共享,国家相关政策也要逐渐放开。关于遥感大数据的应用,我们专门成立了校企联合的“产学研用”科研成果转换平台,并在这一平台下面专门成立了“水文气象地质灾害大数据项目组”专门负责将基于遥感大数据的相关科研成果在水文、气象、地质灾害预测预报领域的具体应用方面进行开发和推广工作。其目的就是希望实验室的科研成果能服务社会,发挥它应有的社会价值,让我们中心的科研、平台、数据模型优势的溢出效应最大化。在具体市场化应用上,我们已与投资公司签订了合作,正在与美国硅谷从事机器学习与人工智能的专家们进一步完善灾害预测预报的模型与算法,搭建基于阿里云的灾害大数据平台,基于核心模型对时空大数据进行整合,并开发前端应用,实现水文、气象、地质灾害的准确快速预警预报。
8、我国的北斗导航卫星及其他卫星在遥感大数据中起到什么作用?此外,构建未来的系统还需要做哪些努力?
国家投入巨资建立北斗卫星导航系统,无论是从经济,政治,文化,国防,国家地位等等方面,都有着重要的战略意义。国务院发布《中国北斗卫星导航系统》白皮书发布“中国的北斗,世界的北斗”的发展理念,北斗导航产业将成为“一带一路”空间基础设施建设的遥感先导军。导航卫星应用分两大部分:一是传统的定位、导航、授时;二是利用导航卫星信号本身做遥感、监测应用。第二部分内容是对传统导航产业链的新兴拓展应用——GNSS-R。我们团队一直在做这方面的科研攻关及产学研探索,从硬件、软件的智能制造到细分行业应用,例如在建筑交通、海洋水利、环境气象、农业生态等领域。我们现在有多种专利技术,例如北斗GPS双模算法、土壤墒情算法、积雪深度算法、水体监测算法等等。如何实现软件成果工程化、商业化,完成软硬件结合、嵌入式开发等任务,深度挖掘用户需求,实现技术成果转化,是该项目的主要研发目标。
对于未来构建的GNSS-R大系统来说,仍有许多任务要做。首先,从技术层面,要实现GNSS-R样机的软硬件结合、嵌入式开发。在此基础上,还要与我们的大数据平台前端的细分行业整合。其次,GNSS-R该项目商业化有着独特的优势,它既能做小,也能做大。无论是政府企业还是个人,它都可为目标用户提供精准的泛地理信息服务,创建解决方案。大的方面,可以在全国逐步铺设站网,实现全国实时测量,数据联网,挖掘数据价值。这样,不仅可以在目前三维地理信息技术上站稳脚跟,还可以延伸到第四个维度--时间,通过海量的数据积累并基于大数据的4V特性(数据真实可靠性、快速的数据流转、海量的数据规模、多样的数据类型),挖掘对各行业追加价值的数据产品服务,促进政府企业部门的工作模式转型,更加信息化、透明化,使个人生活出行更便利,加快社会更高效运行和加速度发展。
9、有效运用时空大数据有利于推动经济发展、完善城市管理、提升政府监管和服务能力,请您介绍一下智慧城市时空大数据资源池的作用?
城市的建设运行管理都是在时间、空间交织的四维空间中进行的,遥感测绘地理信息是提供时空大数据最有效的手段。云计算将所有可以参与计算的、与时空位置相关的数据资源充分调动起来,形成一个动态的时空大数据资源池,包括按照统一时空基准序化的三维一体、室内外地上地下一体、动静一体的结构化与非结构化数据,及其四维实景一体化管理系统。其中,通过倾斜摄影、街景技术等获取的地理位置信息,是时空大数据集成共享的基础,可为智慧城市、国土、规划、经济、测绘、灾害应急、旅游、水利、农业、文物保护等多种行业提供四维一体化的数据支撑,通过GIS平台软件对其进行深度应用开发,可为各类行业用户提供系统的、完整的解决方案与服务。
智慧城市时空大数据资源池即包含实景地理信息数据库、人口库、法人库等空间信息,又能体现历史性和实时动态性,同时,还能丰富地上、地表、地下和室内、室外要素,基于此,实现建立四维一体化的城市地理信息综合管理应用平台,展示城市形象及特色空间,综合提升城市空间综合分析能力,为精品规划、科学管理及智慧城市建设提供有力的技术支持,有效促进城市管理的精细化,提高规划管理水平和效率。
10、 在讨论如火如荼的“太空经济”时代,国际上商业航天格局是什么样,而我国航天卫星应用产业发展进程如何,又面临着什么样的挑战和机遇呢?
传统的航天产业包括:卫星通信、卫星遥感、载人航天、卫星导航四大方面。而随着航天产业的发展,以美国为首的商业航天创造的产品和技术正为人类在地球上的生活带来诸多好处和便利,紧密关联的卫星应用等产业规模也急剧扩大,逐步衍生出了“太空经济”,其规模在50多年时间里增长了上千倍,是迄今为止增长最快的经济形态之一(类似的有互联网经济、移动通信、生物工程等)。如今,太空经济覆盖了宇航产品的开发与建造,卫星应用,空间环境应用,空间科学,太空能源,太空资源利用,太空旅游,航天文化产业,支援与保障服务,太空垃圾清理等十大产业服务。尤其在美国,已经形成了一条完整的在卫星应用产业服务链,包括卫星通信、卫星导航、卫星遥感三大主要领域,包含相应的地面设备制造和运营服务等。卫星通信业在美欧等发达国家已实现了产业化、商业化和国际化。卫星导航业和卫星遥感业也已开始步入产业化轨道。据预测,随着航天技术和信息科学技术的发展,卫星应用产业逐步产业化和商业化,并朝着个性化、多样化方向发展,例如SpaceKnow公司创设了机遇多遥感影像的中国卫星制造业指数(SMI),试图用这个指数来观察中国制造业经济发展状况;Orbital Insight公司利用深度学习技术识别卫星影像中的汽车,通过汽车的密集程度评估经济发展,以及停车场的汽车数据估计商场营业额等等。未来卫星产业与其他产业趋向融合,将保持较高的增长速度。
而在我国,“太空经济”有了一定基础。中国已经拥有了多颗通信卫星所组成的空间通信基础设施,高分辨率对地观测卫星系统,北斗卫星导航系统已经初步形成了运行能力。但卫星应用产业发展仍有极大缺陷,无论在技术基础,市场投资、人力资源,政策环境等方面都有着先天不足。主要体现在产业结构单一,产业链不完整,高层次专业人才紧缺。因此在中国推动商业卫星的发展,困难更大,但意义也更加重大。在过去相当长的时间里,航天科技集团下属的中国空间技术研究院是国内唯一的卫星研制单位,但随着清华大学、上海微小卫星工程中心、长春光机所等诸多科研单位加入卫星研制行列,国内小卫星制造领域技术取得突破。2002年,中国航天科工集团和清华大学合作研制的“航天清华一号”小卫星发射。2015年10月7日,首颗国产商业遥感卫星吉林一号的发射,标志着商业航天新的开端。
清华在卫星遥感产业应用创新方面有学科优势,我们可以结合物理模型、地理信息数据、人工智能、大数据挖掘可视化等方面的信息与技术,实现卫星遥感产业的创新应用。迎接中国商业航天“太空经济”,需要做到以下几点:(1)深度整合航天太空+传统行业:航天产业本质上是信息技术和信息服务,与传统行业深度相加,必然推进后者寻求结构优化,来适应高时效性信息、高精度时空基准和透明化的运营理念。这与互联网改变传统零售业的先例是有相似性的。(2)发展商业航天的产业链及商业化模式:吸引民营资本的进入,打通航天产业上下游产业链,关注追加值应用。我们日常讨论最多的就是直接应用,而二次应用所受的关注则很少,如何应用现有的技术成果,培养扶持下游企业是商业航天所面临的重大问题。下游企业对航天技术应用的越广泛,上游企业得到的回报就会越多,就可以形成完整的产业链以及产业联盟。当前智能制造、物联网、大数据技术等都为延伸航天产业链,拓宽商业卫星的消费市场,迎接卫星应用的“太空经济”时代的来临提供了基础。
资料来源:卫星遥感与地理信息
本期编辑:陈呈奕 付诗淇 杨芬