【速记】国家农业信息化工程技术研究中心 陈天恩:农业大数据的研究与实践
10月31日,2017星环智慧大数据巡回论坛——郑州站顺利举行。本次巡回论坛,星环科技联合众多合作伙伴、用户展开应用案例分享,让更多行业人士了解大数据在医疗、农业、政府、交通、金融等行业应用中可以达成的效果。
因会后收到不少嘉宾反馈,对演讲内容非常感兴趣,演讲信息量大,现场又无法及时记录,特在后期推出嘉宾演讲速记系列,以最大程度弥补这个遗憾。
【大数据在农业领域的应用案例】
【演讲主题】农业大数据研究应用
【演讲内容】国家农业信息化工程技术研究中心信息工程部主任陈天恩,为大家介绍了农业大数据的研究与实践。演讲内容主要包括以下三个方面:
一、农业大数据;
二、如何利用大数据帮助农业生产节本增效;
三、农业大数据的研究与实践。
非常高兴受星环孙总的邀请,来跟大家聊聊关于农业大数据、农业信息化方面的工作。之前花了很长的时间了解过星环相关的产品和技术,也是结合我们十几年在做农业大数据过程当中碰到的一些困惑,跟星环的工程师有过几次比较深入的沟通,这是这次我来跟大家分享这个农业大数据相关工作的一个驱动力。
农业大数据
还是要说一说农业,在座的各位可能做农业的不多,主要都是其他行业或者IT行业,大数据的来源就不用说了。从我们的观点来看,首先互联网是大数据的主要来源。另外这两年蓬勃发展的,特别是5G这些技术出现以后,物联网加速了大数据的发展,这可能是一个大的背景。但是从我们这个行业来讲,农业大数据还略有不同,我们认为农业的大数据可能跟互联网关系不是特别大,跟物联网有一定的关系。简单概括一下,这不是一个定义,我们认为农业大数据是指农业的生产经营管理服务这个过程中产生的,符合大数据相关标准的这些数据的集合,以及其获取、分析、处理、管理和应用相关的技术。下面我还列了一些它主要的来源,包括这些图,每一个图都代表了目前关注度比较高,大家应用度比较高的农业方面的一些大的数据,来自于一些智能装备,来自于一些传感器、遥感卫星,或者是大家都知道一些基因测序数据,以及质检的一些相关机器的数据,也包括一些交易的数据和交互的数据。
农业气象数据。我们在平时工作当中用的比较多的一类称得上是大数据的,就是这个多尺度的农业气象数据,所谓的多尺度就是不同分辨率的,有的可能是以全球为观测尺度,有的是以亚洲为观测尺度,有的是一个省,甚至现在在农业里面可以做到一个乡镇或者一个地块,在多尺度的情况下,就有很多的气象数据,可以用在农业从宏观到微观的各个层面。
动植物的生命基因数据。大家可能都知道全人类基因组测序的事情,现在在农作物这个领域,其实很多我们平时吃到的稻米、小麦,包括我们很多的蔬菜,都做了全基因组测序,在这里有很多DNA的信息,而这个信息数据量相当大,但目前来讲它的95%以上的信息对我们人类来说还是一个谜团,所以在这里有很多可以做数据分析挖掘的工作。
农业自然环境的数据。这个自然环境包括农田的土壤环境,包括水资源水环境,也包括农业涉及到的很多生产资料相关的环境数据,这也是一个非常大的命题。
农作物的生产观测数据。现在在农业领域有一个领域特别火,叫表型,或者基因型和表型相关性的一个研究。所谓的型就是农作物外观,它的一些性状是什么样的。现在所有的生物领域的和农学领域的同志们,都特别关心农作物生长的观测数据。以前我们没有很好的手段去做小尺度的观测,我们只能用卫星做大尺度的面状的观测。但是,现在随着很多仪器技术的发展,我们可以对一个单株来进行观测,这个时候产生的数据量相比以前翻了很多个数量级倍,所以对这种非常复杂的数据,它又有视频图象数据,又有传感器数据,还有一些生理生态指标的数据,很多非结构化的数据怎么处理,怎么去利用这些数据研究我们的作物,这个也是一个值得探讨的问题。
大家都知道现在没有多少人下地干活了,将来中国的农业主要靠农机装备来作业了,针对这种普通的拖拉机,当我们装上了很多传感器以后,它就成为一个智能化的农机装备,随之而来的它会产生很多数据,收集这些数据的目的是为了更好的让它执行田间作业,让它效率更高,成本更低,或者是执行得更到位,现在基本上我去过的、工作过的或者合作过的一些农场,都号称自己现在是99.99%的机械化率,没有人下地干活了,这个时候靠农机可以采集很多的生产性的数据,从播种的数据一直到产量的数据,都可以靠农机实时的采收上来,现在我们针对这样的数据分析还刚刚开始起步。另外还有农产品流通的数据,这些大家都很容易理解,包括电商交易的数据。
如何利用大数据帮助农业生产节本增效
通过这么多数据,在大数据平台的支撑下,我们要来发现一些科学规律。大家知道我们所在的宾馆的房子是设计师设计好蓝图,然后施工人员把它盖出来的,农作物现在基本都是长成什么样就是什么样,但是我们通过对数据的分析,特别是一些生物信息学的数据加进来以后,我们也可以来对作物进行设计,我希望这个水稻长成什么样,产量是多少,是可以一开始在分子层面就做好设计的。大家感兴趣的话,北大有一个作物设计创新实验室,这是一个非常火的领域,核心的内容就是要找出刚才我说的基因测序的信息跟这个表型信息之间的相关性,有了这些相关性之后,我在基因层面对它进行调控或者编辑以后,这个作物就可以按照我的需要生长成我需要它成为的样子或者是产量。
这是一个广大的万亿级的市场,我们怎么用数据来帮助农业生产节本增效,这里可以讲上三天三夜,包括提高农产品的流动效率,大家都知道农产品暴涨暴跌,有的时候特别便宜,农民都不愿意卖,烂在地里了,有的时候特别特别贵,连个大蒜都买不起,问题就出在采销两端的信息不对称。如果我们有一些好的信息采集和分析手段,就可以逐步消除这种信息不对称,让社会更加和谐,让劳动者有所得,让消费者能够吃上安全的农产品,这也是我们现在工作一个很大的领域。包括现在的生鲜电商,是电商的一个新的蓝海,在这里很多人在做用户消费行为的识别,推送一些好的农产品,帮它做更好的营销。
农业大数据的研究与实践
下面说说我们的工作,我们的工作重点就是围绕农业数据智能在做一些算法的研究,平台的开发,和一些产业化的应用服务。
第一,农业大数据可视性服务的关键技术研究。因为农业领域存在一些问题和困难,传统的大数据技术或者信息技术在这里发挥作用还是有一定门槛的,或者有一些需要克服的技术瓶颈。我们重点从数据管理到知识发现。所谓的知识发现就是数据的挖掘,包括考虑个性化推送服务发布的相关技术。这是我们这两年做的一个数据模型,这在农业领域还是用得挺广泛的,大家都知道首先农田都是面状的,它有很多空间上面的属性,另外作物都是随着时间生长的,它有很多时序方面的特性,我们为了研究好这个农业,研究好这个作物或者动物的生长,我们首先要有一个好的数据结构去描述这种物理现象或者客观的现象,如果有个好的数据模型,可能我们的研究就事半功倍,如果没有很好的数据模型或者数学模型去描述它的话,就是比较费劲的事。
第二,大数据应用平台的开发。这个平台相对来说技术没那么复杂,只是屏蔽了一些最终用户的复杂性,核心主要是针对传感器和个体识别的数据,包括视频数据,包括一些地理空间数据和作物本身的一些数据,屏蔽掉数据的差异性,能够很好的被管起来用起来,作为数据服务发布出来。
为什么说说我们这个平台呢?之前包括现在,我们用这个平台在做了很多很多的产业服务工作,在这个平台上面,我们一直在对接关系型数据库,这个关系型数据库这两年感觉越来越力不从心了,跟大家的感受是一样的。我们在安徽有一个项目,它并不是很多,只有150组传感器,但是上线已经将近两年时间了,现在下面的Oracle数据库,查一下基本要一分钟到两分钟才能查一条去年的数据。我们一直在找一些方案,正在这个时候,农业部交给我一个活,你做一下国家农业物联网的公共服务平台。我想如果我都没把这个事情解决好的话,我怎么去面对全国14个产业体系的重点物联网应用的数据接入的挑战,这也是我寻求一些分布式的或者在线分析的解决方案的一个出发点。这个项目正在做,已经采集了一部分数据,这个模板也发布了一些农业领域的专业数据服务。
育种管理平台。另外我们还做了一个,大家都知道在农业领域,种子是最重要的,没有种子什么都别谈了,所以我们中心最近做了一个专门服务于育种科学家的平台。这个平台其实还挺好的,现在中国前十大育种公司,其中有好几家都是我们平台的忠实用户,包括农业部的全国农业趋势的工程,它的核心就是把一些品种(大家都知道像隆平高科育种,它有几十万个育种小区),它要不断的对比不同的材料杂交以后的结果,而这些几十万个育种小区,每个育种小区不是特别大,可能就跟这个舞台差不多大。但是小麦或者玉米,成熟期是非常接近的,十几万个小区一块成熟了,这个时候还不像农民,开个拖拉机全收回来就拉倒了,这个时候每个小区都要分析它的性状,它的株高株型,它的质粒的含水量,很多很多的信息,甚至叶片的一些信息和质粒信息都要分析,这个时候你没有一个大的数据管理平台是做不到的。其次在这个基础上,我们要来做品种的选育,帮助育种家做品种选育,这里有很多模型和经验的问题,我们要把它融合到这个大的平台里去。
第三,智能农机。这是我们另一个很有意思的工作,刚才讲到精准农业,包括农机智能装备,全国现在在一些拖拉机上装一些智能装备,智能传感器,采集了很多的数据,这个数据是回传到农业部的,从2015年开始做这个工作,现在在全国,包括河南,半壁江山基本上都在装这个,这是后装的。我们还没有做前装,因为这个事情是来自于农业部的一个工作,就是要做农机作业状态的监测。我怎么管在全国的几百万台农机下没下地干活,干得好不好,干了多大面积,多大数量,如果没有这个业务系统做支撑的话,它很难把现在几百亿的购置补贴逐渐过渡到作业补贴,我们这个工作恰逢其时,在2015年的时候就开始在试点这个事情,一下子在全国推开了,现在已经有好多公司在做这个事了,我们的市场占有率大概在40%左右。
另外除了种植业之外,还有养殖业,也是我们的服务对象。这是全国最大的蛋种鸡的一个企业,它是专门生产蛋鸡的,规模很大,它在全国大概有600多个基地,专门生产鸡苗的,在这里它作为一个产业链的企业,首先是自己企业的信息化。其次,它要服务产业链上下游,从上游到加工生产企业,包括到下游的种鸡厂,它都需要管,实际上它想做供应链金融,但是做供应链金融,学阿里的话,首先得把数据产上来,所以配合他们的工作,我们帮它做了很多数据集中的工作。
第四,粮食生产的智能化。针对粮食生产的智能化,依托数据化管理的事,粮食生产首先有品种的问题,第二有生产过程、智能管理的问题。还有宏观的一些布局的问题。这个就是水稻的全基因组测序的概要图,在这里现在很多的学分子的农学家在做基因层面的一些大数据的分析工作,试图找出跟表型之间的关联性。在农业生产过程当中,农业生产有两个循环,一个是年季的循环,我们春种秋收,一年或者半年有个循环,第二,它是一个信息的闭环。我们做信息化的工作,首先要信息采集、分析决策,还要反馈控制,你要指导拖拉机去实施,在这个过程中要收集各种各样的数据,然后来做分析,分析完了还要让拖拉机听你的话,所以这里是一个闭环的过程。我们最早做这件事情叫精准农业,后来就与时俱进叫数字农业,再后来就叫农业物联网,现在叫智慧农业,可能各个行业都差不多。
第五,产业布局规划。我们接下来还要做一个工作,它其实是类似美国的一个产业布局规划。有了全国的数据,就可以来做规划,让整体社会关于粮食这一块的运行效率提高。这块是跟大家的生活密切相关的,我们怎么用信息化来保障农产品,特别是生鲜农产品的食品安全的问题。什么是安全?你首先种的得安全,第二你加工过程不能乱添加,加工要安全,第三,物流过程不能出问题,最后才到你的餐桌上。所以在这个体系里面,首先我们要有种植、养殖端的信息化管控或者数据的收集,第二要有流通加工过程的管控,第三要有交易销售或者是给消费者最后几公里的一个管理,这个产业链体系非常复杂,这也是一个万亿级的市场,我们的做法就是从源头开始抓起,我们有很多的信息采集的小的软件工具,会推送到农场端,推送到整个流通端,给它建立很好的履历档案,再做一些信息的采集和收集,这是一些重量级的合作伙伴。
第六,消费者数据采集。我们还在采集一些消费的数据,包括两类,一类是消费的偏好,就是什么地区的,什么样的消费者喜欢吃什么样的东西,第二个是营养和健康,我们从食品的角度,从农产品的角度,什么样的是健康的,什么样的是有营养的,或者针对你个体的差异性,可以做一定的推送,整个贯穿起来实际上是一个农产品的透明供应和信任消费的大的体系。
还有一个案例值得拿出来讲一讲,这是一个大农业的概念,在座可能有的同志喜欢抽烟,这是服务于烟草生产的一个大的数据中心,这是刚刚做完的一件事情,这个流程跟普通的农产品生产略有差别,但是也涉及到了育苗、大田、种植、烘烤、分级、收储和调拨几个大的环节。在这里我们实施了一个规模相当大的物联网工程,采集了很多的数据,提供了一些很好的理念,因为我们有了数据,它可以做更精细化的管理,原来可能管到烟农就算了,一般全国平均一个烟农种三四十亩的烟田,三四十亩是什么概念?河南好一点,主要烟区都在云南,云贵川那边,一块地可能就几分不到一亩,也就是说一个烟农要种将近七八十块甚至一百多块的烟田,有了这些大数据的支撑体系,整个烟草公司的管理体系就变了,原来只能管烟农,现在可以精确的管到每一个烟田地块,这样可以做到精细化管理的事情就非常多了。举一个例子,就是它的生产过程动态管理,烟草公司跟普通的农产品不一样,它是纯计划状态的一种体系,每一个烟草生产多少都是严格按照国家计划的,多了一点都不收,不收就意味着你卖不出去,种了也白种,所以这里烟叶公司或者当地烟草的这些管理部门,对烟农的生产过程卡得非常死,它有很多基层的管理人员和技术人员天天盯着烟草生产过程,像保姆一样盯着它,就涉及到一些非常精细化的管控,现在通过我们这套大数据的体系,可以每一个地块都编号,每天都录入一些数据,围绕这些数据去做整个烟叶生产过程的精准化的管控。
农业是一个公益性和市场性兼顾的行业,很多时候我们依靠国家和政府的支持,所以我们的工作也得到了很多政府和学术专家的一些关注,一些媒体的关注。我们单位在北京,欢迎大家有空去拜访指导交流。我们过去十年拿了六个国家科技进步二等奖,全是数字农业和精准农业相关领域的。
点击或回复关键词,查看相关内容
公司
投资 | 星环科技获腾讯领投2.35亿C轮融资,与腾讯云达成战略合作
产品
产品 | 星环的划时代版本-Transwarp Data Hub 5.0
评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)?
Holodesk | 业界最强的SQL引擎Inceptor为何这么快?
认证考试 | 数据中心联盟—星环联合认证体系首次认证考试报名中
技术
评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)?
TED视频 | TEDxLujiazui精彩视频:【大数据 大趋势】
白话大数据 | 白话大数据合集
案例
智能金融 | 星环科技发布证券业大数据战略规划纲要(白皮书)
运营商 | 运营商的新方向-运用Hadoop技术将大数据资产变现
视频监控 | Hadoop大数据在实时视频监控的应用场景
能源 | 厉害了,我的营销大数据!