凡是搞计量经济的，都关注这个号了
稿件：econometrics666@126.com
所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.
1.文本分析方法在政策评估研究中的应用, 从描述性推论向因果推断的最新发展，2.文本分析的步骤, 工具, 途径和可视化如何做？3.文本大数据分析在经济学和金融学中的应用, 最全文献综述，4.文本函数和正则表达式, 文本分析事无巨细，5.环境大数据在实证研究应用的最新进展与趋势，6.经济金融学研究中的大数据革命, 将来的实证研究该何去何从？7.大数据给经济学和社会学研究带来了什么挑战？8.世界计量经济学院士新作“大数据和机器学习对计量建模与统计推断的挑战与机遇”，9.前沿: 大数据对经济金融研究的致命影响, 那又该如何推动这些领域的前沿研究呢？10.洪永淼教授履新后首次讲座"大数据革命和中国经济学研究范式", 附送一份PPT供参阅！11.金融学文本大数据挖掘方法与研究进展, 金融学者看过来！12.权威前沿: 大数据时代经济学和金融学中的预测方法和实践, 不看就不要提前沿！13.大数据时代计量经济学若干重要发展方向，14.机器学习和大数据计量经济学, 你必须阅读一下这篇，15.高维数据计量经济学是什么? 未来研究大趋势，16.大数据推动计算社会科学发展，17.机器学习在微观计量的应用最新趋势: 大数据和因果推断，18.大数据与数据科学方法对实证研究的挑战, 一项10000字的TOP刊综述，19.环境大数据在实证研究应用的最新进展与趋势，20.经济金融学研究中的大数据革命, 将来的实证研究该何去何从？
2021年最后一天，在学术上你有什么难忘的事情愿意分享给大家呢？或悲或喜，或平或淡，请在这里留下（留言区）你难忘的经历，任何时候我们都同在。正文
关于下方文字内容，作者：赵雪梅，华中科技大学经济学院，通信邮箱：m202174308@hust.edu.cn
Opportunities and Challenges for Big Data in Agricultural and Environmental Analysis，Annual Review of Resource Economics Vol. 10:19-37 , 2018Agriculture stands on the cusp of a digital revolution, and the same technologies that created the Internet and are transforming medicine are now being applied in our farms and on our fields. Overall, this digital agricultural revolution is being driven by the low cost of collecting data on everything from soil conditions to animal health and crop development along with weather station data and data collected by drones and satellites. The promise of these technologies is more food, produced on less land, with fewer inputs and a smaller environmental footprint. At present, however, barriers to realizing this potential include a lack of ability to aggregate and interpret data in such a way that it results in useful decision support tools for farmers and the need to train farmers in how to use new tools. This article reviews the state of the literature on the promise and barriers to realizing the potential for Big Data to revolutionize agriculture.
1. 摘要
农业正处于数字革命的风口浪尖，创造互联网并正在改变医学的技术现在正在逐渐在我们的农场和田间应用。整体来看，这场数字农业革命的驱动因素是“低成本”——从土壤条件到动物健康、作物发育等，从气象站数据到无人机和卫星收集数据。这些技术使在更少的土地上生产更多的食物、更少的投入和更小的环境足迹成为可能。然而，目前开发大数据技术的使用潜力的障碍包括：汇总和解释数据的能力的匮乏、无法为农民提供有用的决策支持工具以及需要培训农民如何使用新工具。本文回顾了有关实现大数据变革农业潜力的前景和障碍的文献。2. 引言
有关农业投入（如化肥施用量）和产出（如产量）的数据传统上是由农民和其他参与农业生产的人收集的。同样，有关生产对环境影响的数据传统上由政府机构收集，以监测生态健康。虽然数据一直是做出管理决策的基础，但通过产量监测器、便携式设备、无人机和智能手机等传感器收集到的农场数据量在过去十年中大幅增加。这样的变化带来的不仅是数据数量上的增长，而且它们的形式也发生了变化：从简单的数值变量（如产量、水质）过渡到包括更多的定性测量（如实践类型、气味）。无论是数值型还是定性测量，数据都被更精确地收集起来，并且高度本地化。跨国公司（通常涉及农业生产以外的其他领域的公司）对即将到来的数字农业革命在提高生产力的同时减少对环境负面影响的潜在能力感到兴奋的同时，增加了对农业数据管理的投资。例如，Monsanto在2012年收购了硬件和软件公司Precision Planting，随后又在第二年收购了天气数据和建模技术公司the Climate Corporation（Carolan，2017)。此外，DuPont还与John Deere公司合作，提供无线数据传输系统，然后与DTN公司合作，提供市场和天气信息。为了提高农场设备的机器学习能力，John Deere随后从Monsanto收购了Precision Planting，最近又收购了Blue River Technology（Lev-Ram，2017）。总的来说，农业数据收集设备预计将从2015年的3000万台增长到2020年的7500万台以上（Chi et al.，2017）。其他企业家也跟随这股投资浪潮进入了农业领域的数字服务领域。尽管引起了人们的极大兴趣，但这场技术革命在改变农业实践方面进展缓慢（Brown，2017）。例如，在过去两年中，农业食品领域的风险资本投资几乎每年都翻一番，但对数据的关注有所转移（Pitchbook，2017）。大数据的潜在好处仍然存在，特别是如果应用扩展到基因组学和可追溯性，而不仅仅是精细农业。尽管如此，投资风向的转变表明，有必要评估并考虑政策在这一领域的潜在作用。本文的目的是回顾大数据给农业部门带来的机遇和挑战，重点关注农业食品数字化如何影响自然环境。文章主要关注大数据发展所带来的政策问题，以及帮助解决这些政策问题所需的相关分析。本文首先定义大数据及其在发达国家农业生产中的潜在应用，涵盖三个领域：基因组学、精细农业和可追溯性。本文没有将分析扩展到发展中国家，尽管它们从大数据中获益的潜力也很大（Deichmann et al.，2016；Kshetri，2016）。3. 大数据与农业4.0
数据在农业中的应用预示着一场新的数字农业革命，其驱动因素是数十年来广泛影响制造业的一系列创新（Deichmann et al. 2016）。第一，机器人技术的进步使得自动化程度大大超出了以往的可能（Faulkner & Cebul，2014；Wolfert et al.，2017）。第二，传感器技术成本的下降使农民几乎能够实时监测动物活动、土壤健康、土壤水分（Faulkner & Cebul，2014）。第三，分析相应数据的计算能力现在已经足够强大，相关平台能实现通过分析来支持农业决策，例如生产投入的决定（Antle et. al，2017；Krintz et al.，2016；Rose et al.，2016）。所有这一切都是可能的，因为云计算和机器学习算法等新兴大数据分析平台推动了人工智能的发展（Ali et al.，2016；Chen et al.，2014；Krintz et al.，2016；Wolfert et al.，2017）。这些技术使农业数据的数量、速度、种类和准确性呈指数级增长（De Mauro et al.，2016；Sonka，2014；Wolfert et al.，2017）。反过来，农业数据不仅迅速成为产出和食物链创新的主要驱动力，而且也成为环境管理的主要驱动力（Caron et al.，2014）。农业4.0技术通常被定义为精细农业，指的是部署机器人、传感器和大数据分析的生产系统，使农民能够在更小、更精确的空间和时间尺度上管理他们的农场（Lesser，2014；Wolfert et al.，2017）。尽管精细农业技术已经使用了大约10年，且通常以两种形式呈现：种植系统的产量监测器和奶牛养殖中的机器人挤奶。但现在，随着传感器和机器人成本的下降，这一领域的创新步伐已经加快。与大数据相关的技术创新预示着，50年来一直由绿色革命技术主导的农业将发生深刻变化。绿色革命的基础是引进杂交种子、灌溉、机械化、低成本化肥和杀虫剂（Tilman，1998）。这些技术具有扩大农业规模的效果，本质上为农民提供了工具，通过在大片土地上标准化管理生产实践以提高产量（Duffy，2009；Matson et al.，1997）。畜牧业也出现了同样的趋势，在畜牧业中，封闭的动物饲养操作、浓缩饲料、提高产量的遗传方式和机械化带来了规模经济，带来了以基本不变的方式管理的畜群数量显著增加（Weis，2013）。如前所述，农业4.0的工具（如机器人、传感器和大数据分析平台等），一旦完全实现，将使农民在选择农业投入时更加精细。因此，在许多方面，农业4.0代表了与绿色革命完全不同的农业方式。特别是，人工智能、决策支持系统、传感器和机器人技术让农民有机会在更小的规模上进行个性化的管理。最终，这些技术甚至可以满足农民实时管理单个动物或植物的需求。例如，智能拖拉机知道自己在田里的什么位置，在正确的地方播种正确的种子，并给它正确的化肥（Gebbers & Adamchuk，2010；Ramundo et al.，2016；Wolfert et al.，2017）。与此类似，智能牲畜操作在接近饲养站时识别每只动物，并为其提供量身定制的口粮，以满足该动物的遗传、健康和生长阶段的需求（Busse et al.，2015）。从本质上说，农业4.0的工具提供了与个性化医疗等价的功能，只是其适用于农作物和牲畜这两类对象。这些技术发展的第三个组成部分是大数据分析平台，它支撑着农业4.0，因此与本文的目的最为相关。特别是，当前使用的机器人挤奶器和产量监控器目前在农场生成的大量数据是无用的，除非这些数据可以转化为对农民有用的决策支持工具，帮助其进行决策管理（Janssen et al.，2017；Lindblom et al.，2017）。因此，大数据分析平台成为新农业革命的支柱，对于调整和解释数据以及创建支持整个农业食品部门参与者的决策支持工具至关重要。4. 大数据在农业和环境领域的机遇
农业4.0的支持者认为，它为农业粮食系统在若干关键维度上的进步提供了潜力。（1） 预计这些技术将加快降低改善农作物和牲畜基因的成本，不仅通过提高植物和动物的育种精度，还将通过基因编辑等新技术。改善作物和牲畜的基因将有许多好处，例如提供机会开发适应不断变化的当地条件的基因型。（2） 这些技术可能会为一些农民提供机会，以更少的土地和更少的环境影响生产更多的粮食，通常被称为可持续集约化（Garnett et al.，2013）。（3） 这些技术为在复杂的全球食品供应链中创造更大的透明度和可追溯性提供了潜力（Opara，2003）。下面将更详细地讨论这些机会。尽管自大约10,000年前农业出现以来，农民一直在培育植物和动物，但基因组技术的最新进展，特别是新发现的基因编辑的可能性，为我们提供对农民使用的基因型的更大程度的控制，而不会像转基因生物一样引起同样的伦理和环境问题。特别是，尖端的基因编辑技术允许动植物育种者在鉴定出具有特定性状的植物或动物后，确定哪些等位基因负责该性状。随后，通过打开或关闭相关基因，他们使用基因编辑技术来确保特定性状在后代中存在或不存在。这一过程大大加快了植物和动物特定性状的育种速度（例如害虫抗性或饲料效率），而无需将新的遗传材料引入植物或动物的基因型中（Ballenger et al.，2016；Goddard，2012）。从本质上讲，基因编辑使传统植物育种能够以更快的速度进行，并且监管、消费者、健康或环境方面的问题要少得多。从理论上讲，这项技术的部署成本也比更传统的生物技术方法，例如转基因或基因改造（GM）便宜得多，这可能为服务于小市场的当地生物技术公司，为其提供机会开发适合的定制作物和牲畜表型。此外，通过减少创造新的植物和牲畜变异所需的时间，基因编辑还可以使作物和牲畜更快地适应不断变化的环境条件（Edwards，2016）。在未来，我们预计现有的农田将遭受更极端的天气条件以及温度和降水的变化，因此迅速使作物适应当地条件的机会可能变得极其重要。基因改良带来的其他环境效益包括将编码氮素酶的基因直接引入谷类作物的可能性，从而使这些植物能够从空气中固定自身的氮素（Beatty & Good，2011）。通过了解基因型表达如何与环境条件相互作用，从而影响性状和氮排放等影响，也可以实现相关的化肥使用减少，从而可能减少向水体或大气中排放的营养物质（Ng et al.，2016）。精细农业的首要目标是通过确定各种方法，根据每个农场的空间和时间小气候量身定制种植、施肥、灌溉和农药应用，从而提高农业管理效率，这代表着与近代农业历史的重大背离。几乎所有的农业系统在过去都是劳动密集型的，农民根据自己的评估来管理他们的小农场的独特特点。然而，自20世纪40年代以来，机械化的发展，杂交种子和相对低成本的化肥和杀虫剂以及其他绿色革命技术，促使许多农民用资本取代劳动力来扩大农场规模。这样做的一个后果是，单个农场的管理演变成一个整体，整个农场被视为一个单一的单元，具有相对统一的管理实践（Sonka，2016）。这造成了极其同质化的农业景观，减少了北美农村的生物、作物和社会多样性。精细农业允许更小规模的经营，理论上有可能会改变这一点。一方面，精细农业可能促进回归更密集的农业生态系统，使农民能够在个体动物水平上或在田间范围内进行管理，从而增加农场的时空异质性。这可能会增加动物多样性和作物多样性。但是另一方面，精细农业技术往往是非常资本密集的，这可能会导致持续的农业整合和社会经济同质性（Wolfer et al.，2017）。尽管数字农业革命对个体农民的益处也许会在未来才得到认可，但使用这些技术来改善我们粮食系统的环境管理的可能性是真实存在的。例如，在畜牧业中，通常许多动物获得的饲料比它们有效代谢的要多，这导致营养物质通过粪便流失到环境中。同样，据估计，北美的大规模农作物系统获得的肥料比植物吸收的肥料多50%。这些来自作物和畜牧业的过剩养分最终要么成为水污染源，要么成为导致全球变暖的温室气体 (GHG)（Tilman et al.，2002）。因此，大规模统一管理和随后的过度投入的后果之一是，农业成为了世界上最大的水污染源，排放的温室气体占全球总排放量的 30% 以上（IPCC，2014）。精细农业至少应该能够解决其中的一些问题。例如，Balafoutis et al. （2017）对精细农业技术进行了回顾，并得出结论，全球定位系统 （GPS）与可变速率养分施用技术相结合，可以帮助限制拖拉机在田间行驶的次数，从而减少温室气体排放。但是，尽管有这些显而易见的好处，必须指出的是，与精细农业的成本相比，其提供的额外信息的价值存疑，这可能是阻碍其广泛采用的一个因素。特别是，农民使用诸如产量监测和可变施用量化肥等技术的历史表明，这些技术的回报函数相对平坦，这意味着在许多情况下，农民没有真正的经济激励来进行这些方面的投资。因此，现有的证据表明，这些技术的采纳因农业生产类型而异。在牲畜方面，精细农业技术，包括自动挤奶机、移动跟踪器、发情周期检测正在成为相关农场的日常设备。在作物生产方面，有研究跨越多个管辖区，包含欧洲（http://www.cema-agri.org/page/farming-40-future-agriculture），美国中西部（Erickson & Widmar，2015），堪萨斯州（Griffin et al.，2017）和加拿大安大略（Mitchell et al.，2018），研究发现，GPS、产量监测和网格土壤采样被广泛采用。相反地，在同一块土地的不同管理区域使用不同比率的投入（如种子或化肥）的可变比率技术尚未达到齐平的水平。GPS技术被认为是知识一体化的技术，因为不需要额外的技能来获取它们的价值。相反，精细农业的其他技术依赖于农民已经掌握的关于如何操作机器的知识（Griffin et al.，2017）。这些技术要么简化工作（如自动驾驶系统），要么被动地收集数据（如产量监视器）。相比之下，信息密集型技术（如可变比率技术）使用从农场收集的数据作为决策支持系统的输入，该系统为各种输入的应用生成策略，以获得效益（Griffin et al.，2017）。在过去的二十年里，产量监测器捕捉的空间细节显著增加，而产量监测器现在是大多数联合收割机的标准设备。这些空间地图根据前几年的产量构造了整个区域的生产力级别划分（因此，划分的区域可以根据微观条件在不同年份发生变化）。确定高生产力和低生产力的管理区域是非常有用的，理论上有助于农民将其长期生产力低下的部分土地变成备用地，同时集中耕种质量最高的区域。然而，要使之在实践上可行，就需要一个决策模型，加上其他土壤和天气数据，来确定高产地区或低产地区的化肥用量应该比目前施用的统一化肥用量多还是少。（Schimmelpfennig，2016）。从一系列研究中得出的两个结论说明了从精细技术中获取重大信息价值的困难，解释了为什么农民倾向于使用比推荐比例更多的化肥（Pannell，2006；Rajsic & Weersink，2008）。首先，在给定年份内，产量对氮的响应在最优值附近持平，而对于围绕利润最大化水平的投入水平较大范围变动，带来产量的下降幅度很小。因此，虽然采取精细技术，不同的空间单位可能会接收到明显不同的投入比率，但相对于应用统一比率而言，利润差异相当小。其次，响应函数随年份变化而变化。给定氮肥率的产量随时间变化大于空间变化；因此，逐年调整投入比率比调整区域内甚至区域之间的投入比率更重要。大数据对农民的价值可能主要通过确定给定地点的问题区域或通过开发来自许多生产地点的数据集成的改进分析方案而产生（Bennett，2015）。来自单个农民的信息可以与来自其他农民的数据相结合，通过开发决策模型（例如仪表板、应用程序和其他软件应用程序）来提高这些数据的价值。由于农业的生产周期往往相对较长，因此没有足够的来自单个农场的重复观察值来为该农场生成预测模型。然而，与单个农场相比，在更广泛的空间和时间尺度上的许多操作中涵盖的变量值，例如土壤质量、天气条件和管理实践，可以对决定产量的因素进行更可靠的分析（Sonka，2016）。然而，实现这种整合需要众多农民使用一系列不同类型的设备来汇总和汇集他们的数据。目前，缺乏这种整合，这可能是精细农业技术的潜在环境效益迄今尚未完全实现的另一个原因。未来，任何此类决策模型的核心都必须从多个生产者收集的数据中得出，并将形成一个生产函数，将产出与投入和非常具体的地理条件联系起来。大多数农业和资源经济学家都非常了解投入和产出之间这种技术关系的重要性；一个决策模型将使用估计的生产函数，根据生产者的具体目标来建议投入比率。经济学家也意识到，生产函数不是确定性的，而是随机的。外生变量，如土壤湿度，可能在最初收集数据的适当时间没有被准确地测量，或者它们不知道何时必须作出投入决策——但必须做出预测。即使变量可以被观察到，这些变量对生产的影响往往取决于一些未被观察到的变量。这种不确定性影响了决策模型的准确性和精细农业信息的后续价值。对于以下特征的农业生产，后续得到具有高信息价值的决策规则的能力将是最高的：(a) 高价值的产品（单一牲畜与单一作物），(b) 周期短，(c) 生产不确定性较小的部门, (d) 田间或牲畜间的高度异质性，以及 (e) 准确可靠地测量这种异质性的技术。例如，在养猪业中，饲料占养猪成本的 70% 的精细农业在养猪生产中使用饲料的价值可能高于在大规模农田玉米生产中使用氮肥的价值；因此，预计养猪户采用精细农业技术的速度将快于玉米生产商。在作物生产中，与大规模农田作物生产相比，基于温室的密集系统的精细农业在营养决策方面的净收益可能更高。总体而言，精细农业的前景是用更少的土地和更少的投入生产更多的食物。因此，精细农业是农民用来可持续强化粮食系统的一种工具（Garnett et al.，2013）。这让人回想起大约 10 年前围绕农业和野生自然命运的争论，当时学者们争论是环境集约化农业节省耕地更好，还是采用试图融合生态系统服务的农业管理实践和粮食生产【也称为土地共享战略（Green et al.，2005；Luskin et al.，2018）】。虽然对于这种集约与共享的争论没有得到具体的解决方案，但大多数支持可持续集约化的学者认为，与精细农业相关的新兴农业技术将帮助我们在减少投入的同时加强粮食生产（Benton et al.，2011；Phalan et al.，2016）。新兴农业技术的另一个主要好处是有机会确保全球粮食供应链的透明度。粮食系统透明度正成为一个关键问题，原因有很多（Badia-Melis et al.，2015）。首先，在过去的十年里，人们越来越关注诸如食品欺诈、劣质食品被虚假标签等问题（Aung & Chang，2014；Van Rijswijk & Frewer，2012）。2013年，当欧盟发现在碎牛肉中掺入马肉时，有关食品欺诈的问题进入了公众视野（Walker et al.，2013）。从那时起，围绕食品欺诈的问题就时不时地出现。例如，加拿大的研究表明，25%的海产品被错标为商业上更昂贵的产品（Van Rijswijk & Frewer，2012；Wong & Hanner，2008）。同样，亚洲越发壮大的中产阶级消费者要求对其食品的质量和上下源给予保证。最后，北美的研究表明，消费者越来越要求知道他们的食物来自哪里，媒体在消费者的认知中扮演着重要的角色（McCluskey et al.， 2015）。因此，DNA条形码等基于基因组的技术越来越多地用于验证全球供应链中的食品来源（Pizzuti&Mirabelli，2015）。同样，自愿会计制度也越来越普遍地成为一种向消费者提供食品担保的方式。在日益分化和竞争日益激烈的全球市场中，农民将这种系统视为向消费者保证其食物的特性和成分的一种方式。业界越来越关注IBM的区块链等技术(https://www.Ibm.com/blockchain/)。它是一种簿记系统，该系统将计算机化分类帐中的条目串联起来，这样它们就不会被篡改。因此，一系列利益相关者可以使用它们来验证产品的真实性，这些产品已经从生产者到处理器，再到中间商，再到零售商。由于区块链账本存储在一系列云计算服务器上，多个副本存在于多个位置，因此区块链不存在单点故障或漏洞。这一特点导致了区块链用于跟踪加密货币（如比特币）交易的先进性。农业食品部门正在考虑如何使用区块链来保证透明度；沃尔玛率先将区块链应用于食品领域，作为追踪猪排的方法之一（Popper &Lohr，2017）。农业领域的数字革命也允许可追溯性概念的扩展，包括与食品生产过程相关的特征（Lusk，2017；Marvin et al.，2017）。生态市场的出现是为了传递通常与食品周围的形容词相关的特征，例如有机、土生土长和放养。经济增长为消费者提供了机会来满足他们对食品生产方式的担忧，而不仅仅是低成本的保证（Campbell，2009；Caracciolo et al.，2016）。Currid-Halkett （2017）将不显眼的消费描述为精英通过购买牧场饲养的鸡蛋和藜麦饼干等生态产品等活动来表明他们与他人不同的一种手段。信息技术不仅促进了对替代食品（以及潜在的错误信息）的认识的传播，而且还允许生产者向消费者验证产品包含所需的属性。在许多情况下，食品的理想属性与对环境影响相对较低的生产实践相关，下文将详细阐述。5. 大数据在农业和环境领域的挑战
Wolfert et al.（2017）将大数据面临的挑战，以及实现农业生产率和环境健康的潜在效益的挑战，归类为技术性或组织性的挑战。如果数据采集成本持续下降，并且创新能够创造价值，那么关于数据质量、准确性和兼容性的技术问题就可以得到解决（Lesser，2014）。下面将讨论与数据治理和拥有数据的市场力量有关的组织问题。大数据分析平台的发展极具挑战性。为了将数据从设备转移到服务器上，农场通常需要接入互联网，即使在北美的许多农村地区，这仍然是一个挑战，更不用说在南半球（Pant & Odame，2017）。数据必须以一致的方式收集，并符合协议，以便将数据集中到集中式服务器中，必须保护服务器免受网络安全攻击，同时隐藏单个农场管理者的身份（Chi et al.，2017）。农民、应用程序开发者和设备制造商之间需要建立所有权协议。因此，在农业和粮食数据的治理、监督、所有权和监管方面存在着极其具有挑战性的问题，同时在确保广泛互操作性方面也面临着巨大的技术挑战（例如，确保从众多个体运营商收集的数据能够一致地汇集在一起）（Banham，2014；Janssen et al.，2017；McAfee et al.，2012；Porter et al.，2014)。跨空间和时间尺度连接数据的困难也是使用大数据解决环境问题的主要挑战（Fleming et al.，2017；Marden et al.，2016）。目前，大公司、政府机构和高校都在努力建立一致的数据监管框架或标准化协议，以实现技术的承诺，因此数据生态系统有些混乱和断裂。Monsanto和John Deere等大公司对农业技术的兴趣，在这方面既带来了机遇，也带来了挑战。大型垂直整合的跨国企业可以创建急需的集成数据系统，以支持农业和粮食生产。正如沃尔玛在猪肉行业使用区块链所证明的那样，这些公司拥有跨食品价值链的资源和连接性，以建立所需的大规模数据分析框架。然而，存在着公平的问题，尤其是企业控制的农业数据分析平台是否是促进公共利益、保护消费者、帮助世界上已经被边缘化的小农，这些小农将在新一波数据密集型技术浪潮中被进一步剥夺权利。因此，政策的作用是积极主动地识别和解决此类股权问题和潜在的市场失灵（Shin & Choi，2015）。我们注意到GODAN（全球农业和营养开放数据）（www.godan.info）倡议正试图在公共和私营参与者的伙伴关系基础上创建一个农业和营养开放数据平台。在加拿大，圭尔夫大学（University of Guelph）和一系列政府机构以及IBM正在进行一项工作，以提供加拿大制造的解决方案，以应对数据整合的挑战，以及食品和农业部门对大数据分析平台的需求。Towards Precision Farming 2.0是荷兰几所大学、政府和行业的合作项目，旨在整合农场层面的数据收集、管理、分析和决策。类似地，Woodard（2016）提出了一个单一的综合数据仓库，该数据仓库将协调农业食品部门越来越多的经济和环境数据的汇总、采购和分配。另一个阻碍精细农业的障碍与农村的对外连接有关。北美和欧洲的许多农村地区都缺乏宽带（Pant & Odame，2017）。这在加拿大尤为明显，政府已将农村互联互通确定为主要优先事项（governor Can.，2016）。此外，人口趋势也可能是一个障碍（Pierpaoli et al.，2013）。特别是，年长的农民比年轻的农民更少有可能利用互联网，因此采用包括接入互联网和分析数据在内的精细农业技术（Tey & Brindal，2012）。考虑到北美和欧洲农民的平均年龄在55岁左右且还在不断增加，农业人口的老龄化可能会成为技术采纳的障碍（Stat. Can.， 2017）。Monsanto收购The Climate Corporation和约翰迪尔John Deere收购Blue River Technology都是大数据领域最近的并购案例，但这些交易是农业领域更大趋势的一部分（Clapp & Fuchs，2009；Howard，2016）。近年来，化工公司Bayer收购了Monsanto, DuPont与Dow Chemical合并，Syngenta被中国化工收购。总的来说，这些合并和收购已经引致显著的行业集中化，全球玉米和棉花种子的比例由最大的公司负责，玉米的增长从60%至85%，大豆的增长从50%至75%（Macdonald，2016）。在农产品供应链的生产者和零售终端的集中度增加，导致了对企业控制数据流的担忧（Bronson & Knezevic，2016）。例如，Monsanto的综合农业系统平台为农民收集有关土壤健康和虫害压力等变量的信息，但这些数据也可以被公司用来推广他们自己的农药，并确定新的研发需求。同样，在产业链的另一端，食品加工商和零售商通过监控社交媒体来预测市场所重视的消费者趋势和属性。有关生产成本和市场需求的信息对粮食系统中参与者之间的市场力量具有影响。市场信息不对称的程度及其对数字革命分配影响的潜在影响是前一节提到的关于数据所有权的谈判的推动力。6. 政策问题
农业政策最初的目的是帮助改善农户经济状况，进而改善农村经济（Gardner，1992；Schmitz，2010）。考虑到农业部门的历史同质性，即一个农场往往由一个农民经营，并支持一个农户，推广工作或商品价格支持项目等政策对提高农户收入是有效的（Poon & Weersink，2014）。根据调查，养殖场规模分布趋于正态分布。包括数字革命在内的技术创新已经导致农场数量大幅减少，这种减少主要发生在中等规模农场，并导致农场规模分布发生变化（Weersink，2018）。除了农场数量和规模（水平对比）的变化外，专业化程度（纵向对比）以及由此产生的部门结构也因监测生产成本的降低而改变。农场通常在进行一些内化活动，例如，许多牲畜养殖场种植和收获自己所需要的饲料。专业化得来的收益，如收割饲料或者饲养牲畜，受限于短的生产周期、更高效的农业、农民自身的监控成本、雇佣劳动的成本和农业生产的随机性（Allen & Lueck，2004）。然而，新兴的大数据革命正在降低运营的测量成本，随着交易成本的下降，农场变得更加专业化。正如前面所讨论的，这些更大、更专业的农场可能会也可能不会销售到随着信息技术发展而出现的生态农产品市场。最终的结果是，从许多同质农场到少数（与其他农场相比）更具异质性但在单一操作中采用更专业化的技术的农场的趋势将继续下去。数字革命促成的农业部门分化日益加剧，使农业政策的评估和设计变得复杂。在北美，中型农场数量迅速减少，为生态农产品市场生产的农场份额不断增加，为大宗商品市场生产的大型农场加快崛起，这意味着很难定义“普通农民”或“普通农场”（Weersink，2018）。而通过统计数据库产生的平均数字则可以代表上一代典型的农民，但随着中型农场的减少，这种数字的可信度越来越低（Lyson et al.，2008）。因此，评估农民的经济状况以及由此产生的对农业政策的需求，需要着眼的地方远不止“平均”数字。当农场规模相似时，一刀切的政策可能更为合适，但是日益突显的异质性要求针对特定的农场，要有特定的政策项目，才能够提供有效支持各种规模农场的政策。改善农民生计的政策目标已转向提高农业部门的竞争力，但是问题在于，应该着力提高农业部门哪个组成成分的竞争力？是农场还是农民，是小农场还是大农场，是所有者还是经营者，是生态农产品还是纯商品？解决商品生产和价格风险的北美传统支持项目可能需要与解决生态农产品市场相关的市场和供应链风险的其他项目相辅相成。生态农产品市场和专业化的增长意味着现在的交易是依赖种植者和加工商之间的合同而进行的，这样可以确保交付的时间和质量（Adjemian et al.，2016）。因此，风险又从价格风险转移到了合同风险。农业部门更加多样化的趋势可能会继续下去，反过来，针对农业部门的任何政策的内外支持也会继续下去。不管政策的即时目标和后续目标是什么，任何政策的评估必须扩展传统的福利分析方法，来检查其分配效应（Sexton，2012）。作物保险是另外一项政策，有助于为所有参与的农民（不论规模大小）减少作物歉收的风险。在北美，作物保险项目由政策通过补贴保费提供财政支持，但尽管作物生产存在着天然的不确定性，很多农民仍然没有投保（Ker et al.，2017）。通过减少逆向选择和道德风险的问题，大数据提供了提高农业保险效率的潜力。提高对产量差异原因的了解，并更好地按地点测量实际产量，可以为个别生产者设定恰当的保费，以达到要么增加政府未参与的农作物保险的总体需求，要么减少补贴保费的政府的财政负担的效果（Coble et al.，2016）。增强的测量还可以潜在地减少道德风险行为，例如未完全收获产量低于免赔额的作物，从而进一步提高风险管理计划的财务可行性。通过这种方式，大数据和大数据分析平台应该有助于提高农民中作物和生产保险的普及度。一个有效的气象保险计划需要一个直接影响产量的气候变量的可测量数据。然而，变量（如降雨）的空间差异导致使用随机的气象站数据存在显著的测量风险。以相对较低的成本在小范围内测量天气数据的能力增强，则可以降低测量风险，从而提高气象保险的效率（Castillo et al.，2016）。同样，牲畜生产保险的可行性随着衡量影响疾病及其实际流行率的因素的能力增强而增强（Koontz et al.，2006）。随着通信和信息技术的进步，政府在提高人力资本方面的作用也将增加。自动化和人工智能的进步将需要一套苛刻的新技能。因此，需要开展教育培训，以培训满足相关需求的工人（Rainie&Anderson，2017）。劳动力市场的混乱和对技能培训的相关需求在所有部门都出现，但在农业、粮食领域尤为严重。目前，在发达国家，该行业的非熟练和熟练工人都存在劳动力短缺。为了处理农业部门的残留物，例如温室气体排放或者硝酸盐，环境政策的设计因生产过程的性质而变得较为复杂。与许多与农业有关的环境问题一样，农业中大多数环境问题都由许多潜在的小因素组成，这使得衡量特定问题（例如每个农场的温室气体排放）成本很高。混淆这些问题的事实是，从温室气体到水污染和抗生素使用的所有环境影响都取决于场地的特定特征，如土壤类型、管理实践和到附近水体的举例等。因此，你农场、农场管理实践和这些实践对环境的影响之间的具体关系也是有随机性的，并受到诸如气候等外部因素的影响。即使行动和排放之间有直接关系，许多农业实践，例如养分施用的时间或速率，对于外部政策机构来说，观察和管理的成本都是昂贵的。这些复杂情况的最终结果是，执行了一系列的政策，其结果不尽相同。例如，在北美，最常见的鼓励农民改变田间实践以减小负面环境影响的的手段就是通过自愿的成本共担项目进行有益管理实践（BMPs）（Baumgart-Getz et al.，2012）。这些项目设计非常常见，因为它们既有政治可行性，又专注于可观察的实践，避开了BMP和环境目标之间不太确定的相关关系。在这里，我们再次看到了与大数据相关的技术发展为政策创造新机遇的潜力，但这些机遇尚未完全实现。例如，在一个农场样本上使用传感器来检测温室气体排放或者水污染，应该可以创造出能够处理当地环境微生物的随机性的预测算法。这些工具将得到更加广泛的应用，并使决策者能够以更有针对性的全农场方式停止对BMP的补贴，这种方式会将重点放在直接减少温室气体排放等具体影响上。除了识别谁应该在作为农业环境政策的靶向目标，促进从设计管理（例如使农民采用BMP项目）到绩效管理（例如管理排放目标）的转变，数字革命也可能改变选择机制。也就是说，政府必须决定由谁来承担项目的费用。政府倾向于向农民提供补贴（因此采用了受益者自付原则），以改变他们现有的做法，而且当试图阻止农民使用对环境有害的做法时，他们通常只使用污染者自付机制（如罚款或税收）（Weersink & Pannell，2017）。补贴采用的最佳管理方案反映了农业部门长期以来获得的政治支持。但是，随着机器人在农业系统中的应用越来越多，人们对商品农业的看法也从传统的家庭农场转变为匿名经营的工业企业。社区观念的转变也可能改变农业生产者受益自付计划的政治可行性，并促使政策转向基于污染者自付原则。可追溯性方面的进展进一步增强了农业环境政策选择的可行性。标签允许公司或政府既发出信号，又创造对环境表现的要求。因此，一个市场被创造出来，允许那些希望改善的人为它付费。当前最明显的例子是有机产品的营销。许多国家的生产者组织和/或政府已经建立了有机产品销售的溢价标准。农民可以自愿决定是否按照这些标准生产，从而将他们的产品作为有机产品高价出售。为了有机产品市场的发展，需要信息和验证系统来确保符合有机标准。与过量农药使用相关的部分外部性已内部化，允许希望减少农药使用的消费者通过购买有机产品向农民支付费用。旨在加强食品系统可追溯性的方法也允许根据商品的直接环境性能（即碳足迹）或生产方式（即有机、自由放养）对商品进行认证。Messer et al.（2017）建议，政府应该鼓励食品加工过程的标签，但只有在该过程导致的食品可能危害人类健康时，才应该强制标签。然而，重要的是要注意，对于食品供应链上的那些人（例如，在农贸市场上销售水果的生产者）来说，使用标签来提高农业食品部门的生态效益的能力将比其他人更大。与非消耗性（例如改善野生动物栖息地的耕作方法）相比，消费者对消耗性（例如有机）属性的需求也可能更大。对于任何环境性能属性，一旦跟踪系统到位，大数据应该可以降低提供增强可追溯性的成本，从而确保声称具有某些属性的食品实际上是由农民交付给消费者的，降低认证的交易成本。因此，大数据可能会让越来越多的农场利用自我监管来满足消费者对改善环境表现的需求。大数据可以进一步扩展可行的环境政策选择，包括诉讼，这通常仅限于涉及重大损害和少数当事人的严重污染事件。此外，在这种情况下，因果之间的联系往往得到很好的理解（Weersink et al.，1998）。大数据在诉讼中发挥作用的一个潜在例子是除草剂dicamba。具体来说，大数据可以帮助确定谁应该为2017年dicamba漂移对大豆造成的损害负责——美国中西部约250万英亩的伤害官方调查正在进行中（Bradley，2017）。利用来自农民和农业零售商的丁甘菊施用速率和时间的数据，结合天气数据、巡查报告和大豆作物的季节性植物组织图，田地可以与收获后产量图联系起来，以帮助确定造成损害的责任（Janzen，2017）。许多农场团体担心，环境团体或政府监管机构使用收集到的农场操作数据，对那些不遵守规定的农场，特别是在营养管理方面的农场进行打击（Coble et al.，2016）。然而，数据数字化也可以帮助农场更清晰、更准确地展示其管理计划如何满足外部可持续发展认证，从而减少诉讼风险（Coble et al.，2016）。例如，最近的研究表明，营养负荷可能是由少数个体而不是所有生产者作为一个群体造成的。因此，使用数据的文件可以帮助更多的农民和团体一般核查环境遵守情况，同时暴露少数污染环境的农民。因此，这将创造一种点名的环境管理方法，同伴压力是促进最佳实践的重要工具（Leslie et al.，2017）。尽管数字革命减少了为农业食品部门设计环境政策的一些复杂性，但数字技术的使用也促进了农场一级所有权和管理之间的日益分离，因为农场所有者可以监测农民佃户的活动和产出。再加上耕地作为非农民投资的吸引力越来越大，出租的耕地数量也在持续增加：在美国和加拿大，大约40%的农田被租用，而且大部分是现金租赁（Bigelow et al.，2016；Bryan et al.，2015）。在这种租赁权关系下，租户对农业环境政策通常适用的做法作出管理决定，但耕地所有者可能从政策中获得报酬。该计划的激励机制与租户/业主之间的潜在脱节可能导致该政策的接受程度有限，从而限制农业环境问责制（Rotz et al.，2017）。例如，Palm-Forster et al. （2016）发现，在一项旨在减少流入伊利湖的磷酸盐的保护拍卖中，租用农田的参与率特别低。7. 总结
正如Cukier&Mayer-Schoenberger（2013）所述，数字革命已经改变了我们的生活、工作和思考方式。在农业食品部门已经初见端倪，该行业以及政策制定者和环保人士都对未来食品生产的环境足迹会更小持乐观态度。生物信息学的进步加快了我们培育植物和动物的进程，而且成本大大降低。精细农业技术为农民提供了管理其农场现有空间和时间变化的工具，使他们能够更好地选择投入。信息和通信技术的发展正在创造一种系统，使得整个食物链的透明度和可追溯性呈指数级提高，这不仅应该改善环境和人类健康，而且也应该允许行业围绕那些日益挑剔的消费者要求的性能属性开发市场。然而，数字工具创造的提高生产力和环境改善的机会受到许多问题的限制，包括数据治理、缺乏处理和解释数据的技能以及投资回报不明确等。更具体地说，目前我们生成数据的能力超过了我们管理、分析和使用这些数据的能力。无需额外技能的 GPS 技术的采用率与需要新技能和决策模型的可变速率应用技术的采用率作比较，可以清楚地反应这一点。实际上，在所有情况下，精细农业技术的附加值都没有超过成本。由于农业生产过程是生物相关的，并受到不确定性的影响，因此需要一系列信息来了解基础逻辑并开发决策模型。海量数据需要在一系列范围内一致、准确地收集，然后使用深度学习和人工智能等工具进行分析和解释。最后，解释后的数据必须以决策支持工具的形式返回给生产者。构建、维护、分析和共享此类数据的难度限制了为生产者推导出具有高信息价值的有效决策规则的机会。因此，这些障碍限制了大数据在整个行业的潜力。与此相关的是，随着数据越来越被视为创新和生产的重要投入，目前的主要问题是谁拥有数据，谁将最终从大数据分析的潜力中受益。过去几年行业并购的步伐表明，主要行业参与者正在为利用这些机遇做好准备，这让许多人怀疑，是否只有少数精通技术的公司获得了所有的回报。还是说，这场新革命的好处是广泛的、具有社会包容性的？在这场辩论中，更多的批评声音指出了绿色革命的教训，绿色革命为消费者提供了巨大的收益，并为那些可以利用新的资本密集型技术、但可能被边缘化、无法适应的小农户提供了激励。同样的事会再次发生在农业数字化革命中吗？更具体地说，因为在这篇综述中讨论的许多技术几乎不需要人力，它们的采用是否意味着我们农村社区的减少？尽管这些问题与北美有关，但它们在南半球的意义更为重大，因为在南半球，许多经济体在结构上仍依赖农业劳动力。如果城市经济不够发达，不能为人们提供有意义的工作，那么农村劳动力的减少是否会导致城市贫民窟的增加？我们将在多大程度上引导技术的更大民主化，并促进广泛的公共利益，这将部分落在决策者的头上。还有一个培训的问题。加拿大政府经济增长咨询委员会（Canadian Government’s Advisory Council on Economic Growth）最近的一份报告指出，投资农业和农业技术是提高中产阶级收入和创造就业机会的可靠战略（http://www.budget.gc.ca/aceg-ccce/pdf/key-sectors-secteurs-cles-eng.pdf）。但需要注意的是，这些新工作并不一定看起来像传统的农业工作。尽管畜牧业和作物科学的重要性将持续体现，除了了解如何保持健康的土壤，在新的数字农业经济中，即将到来的工作更多地与软件工程、数据库管理和机器人有关。同样重要的是，让具有适当法律和政策专业知识的工作人员来制定和裁决新的数据共享安排。因此，高等院校需要迅速修改其培训课程，以确保下一代农业企业家拥有利用技术提供的机会所需的技能。最后，数字革命加速了农业结构的变化，并对农业政策产生了影响。农业部门的日益多样化意味着，北美地区解决生产和价格风险的传统支持项目可能需要与其他解决利基市场农业相关市场和供应链风险的项目相辅相成。目前来看，数字革命的外部效益可能大于农场效益，因此公共政策需要发挥作用，具体的作用方式和效果取决于这些效益的程度。随着监测费用的减少和确保采用有利于环境的做法的能力的提高，农业环境政策选择的范围也将有所扩大。
关于机器学习，1.机器学习之KNN分类算法介绍: Stata和R同步实现（附数据和代码），2.机器学习对经济学研究的影响研究进展综述，3. 回顾与展望经济学研究中的机器学习，4.最新: 运用机器学习和合成控制法研究武汉封城对空气污染和健康的影响! 5.Top, 机器学习是一种应用的计量经济学方法, 不懂将来面临淘汰危险！6.Top前沿: 农业和应用经济学中的机器学习, 其与计量经济学的比较, 不读不懂你就out了！7.前沿: 机器学习在金融和能源经济领域的应用分类总结，8.机器学习方法出现在AER, JPE, QJE等顶刊上了！9.机器学习第一书, 数据挖掘, 推理和预测，10.从线性回归到机器学习, 一张图帮你文献综述，11.11种与机器学习相关的多元变量分析方法汇总，12.机器学习和大数据计量经济学, 你必须阅读一下这篇，13.机器学习与Econometrics的书籍推荐, 值得拥有的经典，14.机器学习在微观计量的应用最新趋势: 大数据和因果推断，15.R语言函数最全总结, 机器学习从这里出发，16.机器学习在微观计量的应用最新趋势: 回归模型，17.机器学习对计量经济学的影响, AEA年会独家报道，18.回归、分类与聚类：三大方向剖解机器学习算法的优缺点（附Python和R实现），19.关于机器学习的领悟与反思，20.机器学习，可异于数理统计，21.前沿: 比特币, 多少罪恶假汝之手? 机器学习测算加密货币资助的非法活动金额! 22.利用机器学习进行实证资产定价, 金融投资的前沿科学技术! 23.全面比较和概述运用机器学习模型进行时间序列预测的方法优劣！24.如何用机器学习在中国股市赚钱呢? 顶刊文章告诉你方法！
下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。