大幅提高天气预测准确度，微软团队登顶数据竞赛
By 超神经
场景描述：微软研究团队，利用机器学习的技术，在次季节天气预报中，将气温和降水预测的准确度大大提高。为依赖气象预测的场合提供了便利。
关键词：机器学习，次季节预报（ Subseasonal Forecast ），AI for Earth
你肯定被天气预报戏弄过。但不得不承认，天气预报很大的影响了我们的生活。而今天要谈的是对未来 2-6 周的天气预测，这被称为次季节天气预报（ Subseasonal Forecast ），在农业、航空上用途较广。
微软剑桥研究院的工程师 Lester Mackey 指出，目前对于次季节预报，都不是很理想，大多「需要靠运气」。为了解决这种现状，他将 AI 方面的专业知识应用到天气预报中，以增加预测的准确率。
季节性预测对农业发展影响很大
应用机器学习相关的技术， Mackey 和他的团队开发了一项超高水准的技术，在美国农垦局举办的次季节天气预测大赛上，他们团队模型的准确度远远胜过之前的标准模型。这个比赛的目的是为了解决水资源管理的问题，包括应对水文状况的变化，对干旱或洪涝的提前预防等。
论文中的结果：评估是基于模型预测相似度所计算的一种系数，微软团队用了 MultiLLR 和 AutokNN 以及两者结合的 Ensemble 的方法；Contest debiased CFSv2 和 Damped 是比赛提供的标准模型数据。
Mackey 团队的研究项目，还获得了微软的 AI for Earth 计划的支持，以鼓励他们用技术为社会带来更大的贡献。
当机器学习和次季节预报发生了碰撞
Mackey 一度对天气和气候预报知之甚少，直到遇到了后来的合作伙伴，大气与环境研究的气候学家 Judah Cohen 。
Mackey 和 Cohen
Cohen 此前做着气候风险咨询类的工作，他热衷于对天气预报的研究。但传统方法的弊端让他进展缓慢，于是他试图通过机器学习的方法来作出改进。
Cohen 之所以联系 Mackey ，是因为他了解到 Macey 擅长的机器学习技术，可以从历史天气和气候数据中，收集到有效信息来帮助他改善预测的方法。
Mackey 在 Cohen 的鼓动下，也逐渐体会到机器学习在这个领域的适用性和优势。随后他们展开了深入合作，将两人擅长的领域结合到了一起。
在之前的一段时间里，常用的是从历史数据中分析和预测天气，但到了 20 世纪 80 年代，这个方法就逐渐被冷落了。从那时起，大气和海洋演变的物理模型模拟，开始在行业中占据主导地位。随着计算能力的指数增长，这些模型也越来越成熟和受欢迎。
「今天，主要的气候中心都使用大型超级计算机来模拟大气和海洋的运动情况，」Mackey说到，「随着技术的发展，预测情况得到了改善，但这也导致了人们对历史数据关注变少。现在常用的方法是，摄取当下的天气状况，然后推算它们的微分方程，进而作出预测。」
但 Mackey 和 Cohen 却另有打算。他们希望把庞大的历史数据信息，也结合到次季节预报中来。
微软负责 AI for Earth 计划的首席环境官 Lucas Joppa 说道，「 Mackey 正在努力解决一个难题，而优势在于，他探索的技术恰好在天气预报方面有很好的功用，而且在更广泛的社会和经济领域，都具有很好的适用性。」
被拿来「试水」的比赛，收获了...
随着 Mackey 和 Cohen 合作研究的展开，Cohen 收到美国垦务局赞助的竞赛通知，这个比赛的目的，是改善美国西部地区温度和降水等天气预报的准确性。
Mackey 表示，当前的模型对短期和长期都有比较成熟的方法：对于七天之内的，天气模型做的已经不错；而很长期的比如一年到十几年的，气候预测模型也有很好发展。
但次季节预报是一个中间阶段，它依赖于影响短期天气的变量组合，如日常温度和风力，以及厄尔尼诺现象和北极海冰等季节性因素。正因如此，它的预测比较困难。
在为期 13 个月的比赛中，他们需要针不断地作出未来 3-4 周，或者 5-6 周的天气预测。比赛的项目包括对降水和温度的预报。
为了更好的作出预测，他们用了两种不同的机器学习方法。一种是应用多种数据，包括历史数据中的温度和降水记录，以及海冰浓度，厄尔尼诺现象等物理预报模型的集合（对应 MultiLLR ）。另一种是针对要处理的项目，仅使用该项目单一的历史数据（ 对应 AutoKNN ）。
「我们每两周进行一次预测，在这期间，主要是获取新数据，处理数据，建立基础设施来测试新方法，然后开发新方法并进行评估，」Mackey解释说，「然后就会停下来，作出预测并重复下一个两周。」
在比赛后期，Mackey 的团队尝试将两种方法结合起来，达到了最好的预测效果。大赛的结果也在美国时间 3 月 7 日被公布。
他们所参加的比赛
Mackey 和 Cohen 的团队得到了傲人的成绩，在预测三到四周气温这一项目中稳居第一，而预测五到六周的总降水量则位列第二。
预测了天气，那么他们的未来呢？
相关的技术细节和研究结果，被团队发布在了 arXiv.org 上的论文中。为了鼓励更多的人员够投身这项挑战，他们也公开了所创建的数据集。
论文地址：
https://arxiv.org/pdf/1809.07394.pdf
数据集地址：https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/IHBANG
此外，微软的 AI for Earth 打算为 Mackey 及团队提供更多资金，用来扩大团队和完善他们的研究。
而美国垦务局水资源研究人员 Kenneth Nowak 则说到，「我们期待这样的方法更加完善，并应用在更广泛的领域中去。」他补充到，政府机构将在天气预测中「寻找更多利用机器学习的机会」。
预先知道气候问题有助于解决旱灾等问题
由于好奇 AI 在次季节气候预测的潜在价值，Chohen 和 Mackey 做出了突破性的研究，对于他们接下来的工作，Chohen 也满怀憧憬，「我看到了机器学习的优势。这不是结束，更像是一种开始，还有很多工作等着我们去做。」
超神经小百科
多层感知机 Multilayer Perceptron
多层感知器（ MLP ）是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。
MLP 可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。
反向传播算法常被用来训练 MLP。 MLP 是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。
历史文章（点击图片阅读）
「你是我的眼」，
科技公司用技术带来光明
用算法解决炸机问题，
让大疆也服气的无人机公司
诊断儿童罕见病，
多伦多大学 AI 辅助医生调整治疗方案
AI 百科
教程
数据集
商店
更多
http://hyper.ai