查看原文
其他

OMG,气象与大数据的牵手指数竟高达……

关注科技前沿的 中国气象 2021-09-07

气象数据存量超过23PB,年增量约4PB。图为气象综合业务实时监控系统“天镜”截图。


速读

版本

1

人类已经步入“大数据时代”。对气象领域而言,虽然大数据将对气象数据的采集、存储、挖掘分析等方面产生深刻影响。但目前来看,尚不能颠覆传统的预报预测方法,因为其不可能直接解决科学机理问题。

2

大数据的处理、分析技术是打开气象大数据这座宝藏的“钥匙”,但历史数据的有效存储仍然面临巨大挑战。

3

气象大数据的“活水”一旦引入农业、交通、能源、零售、保险等行业,就可能创造出巨大价值,甚至以一种意想不到的方式为整个行业带来重大变革。

是不是速读版本不够看,那跟小编一起来看深度版本吧!


深度

版本

01

何谓 大数据

01

大数据,你以为仅仅是数据的量大?

当然不止!

大数据,可以认为是数量大、结构复杂、类型复杂的数据的集合,其可开发价值大。


大数据分析的核心,是从这些数据中获取价值,即获取更准确、更深层次的知识,并非做简单统计。而传感器、智能终端、高速网络、移动互联网、云平台、大数据处理技术、地理系统技术等多种信息技术的交叉应用与普及,也为大数据生长提供了肥沃的土壤。


2017年,全球的数据总量为21.6ZB,不知道这是什么概念对吗?


事实就是,如果用256GB的iPad平板电脑来存储这些数据,所需平板电脑堆积起来的高度将超过地球到月球之间的距离。


吓人吧!

02

能为用户画像就能照猫画虎地为大气画像吗?

02

你在淘宝网、京东商城、拼多多等购物网站上浏览的某件商品,将在今日头条、抖音等APP上再次向你推送,你以为是巧合?


看了几篇八卦就被持续推送八卦新闻,买了一款包后你的购物网站首页出现大量包包打折的推荐……用户在互联网上的行为一旦被数据完整记录下来,就会成为一些公司为用户画像的“素材”。而与你日常密切相关的谷歌、IBM、亚马逊、腾讯、阿里巴巴等全球互联网巨头公司早已在利用大数据为用户画像,以图拥有未来企业的制胜之道。



回到我们重点关注的领域——气象。气象部门能否像企业为用户画像那样,利用大数据更加精准地为大气画像?


就数据体量而言,气象数据当前总量大约为10多个PB,仅每天产生的数据量就达几十个TB。


但事实是,无论气象大数据如何神秘,回归到气象学科的本质,最终都要以温、压、湿、风这几个基本要素的面目出现和存在。


国家气象信息中心副总工程师沈文海认为:

如同浩如烟海的音乐作品最终都是由七个音符组成一样,气象学科所面对、处理的,始终是温、压、湿、风这几个基本要素。

而气象学科一百多年的发展,归结到数学层面,无非是算法的不断改进,以及分析处理的数据在采集的时空密度和精准度方面不断提高而已。对于气象学科的核心业务——气象预报而言,较之传统的气象数据,气象大数据的本质并没有改变,它只是气象数据在目前新的形势和潮流下的一种发展和延伸。


03

专家如何看待气象大数据发展现状?

03

陕西省西安市气象局局长李社宏认为:

如果把数据比作水,把有价值的信息比作鱼,则大数据分析就好比大海捕鱼,传统数据分析好比池塘捕鱼,二者规模不同。在池塘中捕鱼,事先能判断出可以捞到什么,但大海中鱼的种类多,常常不清楚能捞出些什么;“大海捕鱼”和“池塘捕鱼”使用的工具也会截然不同。



国家气象中心海量数据实时处理系统首席架构师

王若曈认为:

如果将气象大数据比作一座宝藏,打开这座宝藏的钥匙就是大数据处理和分析技术。

虽然我们利用气象信息综合分析处理系统(MICAPS)建立了基于大数据的气象实时预报应用技术体系,解决了气象大数据处理、存储、分析和显示效率的关键技术难题。但这只是针对实时数据而言,存储在磁带里的气象历史数据,尽管总量可能也有几个PB,但这部分相当于“死数据”,价值并没有释放出来。



因此,基于气象大数据的分析才刚刚起步。分析的前提是先把数据存储、清洗、归档好。历史数据的有效存储是当前气象大数据面临的最大挑战,需要尽快将这部分数据盘活。



盘活后,

气象大数据会颠覆传统的预报预测方法吗?


国家气象信息中心副总工程师沈文海认为:

大数据只关注现象之间的关联性,而非探究这些关联背后的因果关系,所以不能直接解决科学机理问题。

对气象预报而言,因果关系的掌握远比发现关联更重要,精确分析永远比模糊预报更加满足业务需求,收集处理样本数据永远比处理全体数据更为高效。因此,大数据的理念和方法并非提高预报准确率的终南捷径。气象部门并非为了大数据而大数据,而是为了解决实际工作中存在的问题。



国家气象中心系统实验室副主任高嵩认为:

传统的大气物理研究仍然要借助科学家的智慧,气象大数据一方面需要喂给机器,供机器学习或数值预报模式计算使用;另一方面要喂给预报员,使其更快捕捉到当前的天气信息。

04

现阶段气象大数据有哪些“玩法”

04





气象数据应当动起来、用起来,而不仅仅是造一个数据中心把它装起来。

         ——沈文海


2012年,全球最大的制药企业之一——默克公司对历史和当前天气数据进行分析后发现,次年五月天气将偏暖,空气中散布的平均花粉量将偏多。为此,默克公司与沃尔玛超市合作,加大对过敏药的宣传促销和供应,最终获得可观利润。这只是气象大数据的一种简单玩法。



以农业为例,国内外的很多企业都看准了气象大数据在农业上的应用商机。2006年成立的气候公司(Climate Corporation)每天从250万采集点获取天气数据,并结合天气模拟、植物根部构造和土质分析等信息对意外天气风险做出综合判断,向农民提供农作物保险,由此创造了10亿美金的市值。



不仅如此,气象大数据的触角已延伸到交通、能源、零售、保险等多个领域。


快递


敦豪快递(DHL Express)利用气象数据每天为其全球3000多个航班和上万辆运输车辆保驾护航。


能源


恒泰实达公司基于高时空分辨率的气象大数据开发出天气智能能源气象平台,为各种电力工业应用场景提供减少天气灾害带来损失的方案。


保险


保险公司EMC通过分析冰雹灾害发生的历史记录,避免欺诈索赔。

……

沈文海:

一个应用广泛的大数据,一定是连接面十分广泛的数据集,与体量没有必然关系。就价值而言,连接比规模更重要。


然而,每个行业都像一座信息孤岛,不同行业之间的数据要深度融合困难重重。因此,气象大数据“玩法”的关键之一就是打破各行业之间的数据壁垒,真正做到数据共享。



推 荐 阅 读



复联4上映!复仇者联盟中,为何没有“天气侠”?


在《权力的游戏》中活到最后,可能要懂点气象学



中国气象报社 出品


文章作者:吴鹏

图片来源:网络、国家气象信息中心

微信编辑:壮实

投稿咨询:010-68409426(段老师)



: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存