文献笔记 | 使用AI大模型助力文献阅读
本文转载自公众号 社科大数据
ChatGPT和AI大模型已经火了很长一段时间，有越来越多的学者和学生正在使用这些工具进行研究或者学习。然而ChatGPT的价格和锁区行为给我们的使用带来了一定的不便。实际上，尽管ChatGPT在性能上有很大的优势，但在绝大部分科研任务中，这些优势所带来的提升效果并不明显。所以我们完全可以使用国内常见的大模型来满足大部分的科研需求。在所有的科研需求中，文献阅读虽是最基础的，却也是大模型能够为我们提供最大助力的一个。
那么相比ChatGPT，国内的模型处理文献的效果如何呢？
一、大模型的选择
大模型的实际性能差距并不大。所有大模型的底层原理都是接近的，基本的训练集也是相似的。因此在大模型的选择上，易得性、价格和隐私保护应该是需要考虑的主要因素。其次，由于不同的大模型在具体训练时的侧重点不同，在具体使用时，最好能够充分发挥不同模型的优势。
从文献阅读需求出发，本文向大家推荐月之暗面公司的Kimi Chat，因为它在长文本阅读上具有一定的优势，可以同时阅读更多文献，甚至整本图书。而Claude、ChatGPT虽然效果更好，但都需要较高的费用，而且大陆地区使用不便。
目前，Kimi支持html、pdf和word、txt格式的文本。如果是epub等电子书格式，可以先使用calibre等软件将其转换成pdf之后再提交给大模型。如果文档的体量超过了大模型的限制，可以使用pdf编辑器，在删除附录、备注、参考文献和不重要的部分之后上传。
二、文献阅读
下面，以Kimi为例，让它阅读最近在农经领域被广泛讨论的一篇论文——UC Berkeley的一名经济学博士的Job Markdet Paper：Reassessing China’s Rural Reforms: The View from Outer Space，本文使用卫星遥感数据结合机器学习和因果识别领域的新方法，挑战了传统的家庭联产承包责任制改革是上世纪80、90年代粮食增产主因的结论。
三、框架概括
在Kimi中，使用如下prompt来进行输出：请你帮我总结一下这篇论文的主要内容，请保证结构清晰、内容准确、逻辑通顺。
其首次输出如下：
这篇论文由Joel Ferguson和Oliver Kim撰写，题为Reassessing China’s Rural Reforms: The View from Outer Space，主要研究了中国1978年开始实施的农村改革——家庭联产承包责任制（HRS），这一制度被普遍认为显著提高了农业生产力。然而，这一结论主要基于官方数据，这些数据的可靠性存在争议。为了更准确地评估HRS的影响，作者使用了历史卫星图像数据来生成新的粮食产量测量，独立于中国官方统计数据。
研究方法
1. 卫星数据与机器学习：作者利用高级非常高分辨率辐射计（AVHRR）的卫星图像，通过归一化植被指数（NDVI）直接测量地面植被量，这是卫星遥感中常用的一种方法。然后，通过机器学习方法，训练随机森林模型，将NDVI转换为可解释的产量数据。
2. 实证设计：为了解决HRS在不同省份和县份逐步推行的问题，作者采用了两种实证设计策略。首先，利用省级HRS推行的时间差异，采用断点回归设计（difference-in-discontinuities strategy），在省级边界处识别HRS的因果效应。其次，使用Almond等人（2019）编制的县级HRS推行数据，采用差异中的差异（differences-in-differences）设计。
主要发现
1. HRS对粮食产量的影响：研究发现，HRS对粮食产量的因果效应几乎为零。即使在改革开始三年后，HRS对产量的影响也不显著，且在统计上精确到可以排除5%的产量增长。
2. HRS与劳动生产率：尽管HRS对粮食产量的影响有限，但论文指出，HRS可能提高了劳动生产率，从而为工业和其他作物腾出了时间。这与HRS提高劳动生产率、促进农村劳动力向城市转移的普遍观点一致。
3. 其他可能的改革因素：论文提出，1979年国家采购价格的提高可能是中国农业起飞的主要因素，这一改革使得价格更接近市场水平。
研究意义
1. 对中国奇迹的重新评估：这项研究挑战了关于HRS是中国经济奇迹主要驱动力的传统观点，对理解中国宏观经济增长的驱动因素提出了新的疑问。
2. 农业在发展中的作用：研究结果可能影响对农业在发展中作用的长期辩论，特别是在土地改革和农场规模对农业生产力影响的讨论。
3. 遥感研究与经济学的交叉：论文展示了如何将遥感数据与经济学研究相结合，为历史经济问题提供新的视角和数据来源。
4. 政策制定与历史叙述：研究结果可能影响对中国共产党在改革开放期间政策制定和历史叙述的理解，特别是在华国锋和邓小平的角色上。
结论
论文通过卫星数据和现代因果推断技术，提供了对中国农村改革影响的新视角。尽管HRS在提高劳动生产率方面可能有所贡献，但其对粮食产量的直接影响有限。这表明，其他因素，如国家采购价格的提高，可能是中国农业增长的关键驱动力。这项研究为未来研究提供了新的方向，特别是在利用遥感数据研究历史经济问题方面。
可以看出，Kimi给出了条理比较清晰的回答，基本要点的概况也比较准确。
四、细节追问
除了概括全文主要内容之外，大模型还可以对细节进行进一步的回答。比如我们可以继续询问：请问这篇文章中具体是如何使用NDVI来推算粮食产量的？
输出内容如下：
在这篇文章中，作者使用了归一化植被指数（NDVI）来推算粮食产量，具体步骤如下：
1. 卫星图像数据收集：作者使用了高级非常高分辨率辐射计（AVHRR）的卫星图像数据。AVHRR是一种在1978年至2013年间由美国国家海洋和大气管理局（NOAA）的卫星携带的传感器，它能够以4公里的分辨率每天两次收集红光和近红外波段的图像。
2. 计算NDVI：NDVI是通过比较植物在近红外（NIR）和红光（Red）波段的反射率来计算的。健康的植物会反射更多的近红外光，而吸收更多的红光。NDVI的计算公式为：
3. 时间序列分析：由于NDVI随季节变化，作者将卫星数据聚合到0.05度的网格单元中，并在一年内的不同时间点上进行观测，以捕捉作物生长周期的变化。这使得他们能够预测主要谷物（如小麦和水稻）的产量，同时忽略其他在不同时间达到峰值的作物。
4. 机器学习模型训练：为了将NDVI转换为可解释的产量数据，作者训练了一个随机森林回归模型。这个模型使用了来自日本、韩国、印度和巴基斯坦的农业数据作为训练样本，这些国家与中国在气候和农业条件上相似。模型通过学习这些国家的NDVI与实际产量之间的关系，来预测中国的粮食产量。
5. 特征构建：为了提高预测的准确性，作者不仅使用了年度最大NDVI值，还构建了更复杂的特征集，包括在一年内16个均匀分布的时间点上的NDVI值。这些特征通过拟合谐波回归模型来预测，以捕捉作物生长周期内的植被变化。
6. 模型验证：在训练过程中，作者通过交叉验证和对实际天气冲击（如温度变化）的敏感性测试来验证模型的预测性能。这确保了模型能够准确地预测产量变化，而不是仅仅捕捉到固定的差异。
通过这些步骤，作者能够利用卫星图像中的NDVI数据来推算出中国在1978年至1990年间的粮食产量，从而为研究HRS对农业生产力的影响提供了独立于官方统计数据的证据。
或者询问：请详细描述本文的实证设计部分。
输出内容如下：
本文的实证设计部分旨在评估中国家庭联产承包责任制（HRS）对农业生产力的影响，特别是粮食产量。作者采用了两种主要的实证策略来解决HRS在不同省份和县份逐步推行的问题，并确保因果关系的准确性。
1. 省级差异-断点设计（Difference-in-Discontinuities Design）：
这个设计利用了HRS在不同省份逐步实施的时间差异。作者定义了一个省份为“接受治疗”（treated）的条件，即该省超过50%的工作队实施了HRS。然后，他们观察了省级边界附近的地区，这些地区在HRS实施前后的变化。这种方法假设，除了HRS之外，其他影响农业生产力的因素在省级边界附近是连续变化的。通过固定效应模型，作者能够控制这些不变的因素，并识别HRS的因果效应。
具体来说，作者估计了以下模型：
其中, 是预测的粮食产量，是HRS治疗的指示变量，是距离边界的距离，是边界的指示变量，是治疗后的时间，是主要的感兴趣参数，表示治疗后第年的边界断点效应。
2. 县级差异-差异设计（County-Level Differences-in-Differences Design）：
为了进一步验证省级差异-断点设计的结果，作者采用了县级层面的数据。他们使用了Almond等人（2019）编制的县级HRS推行数据，这些数据来自历史地方志，被认为是半官方的，并且更可能反映实际情况。作者将这些县级数据与卫星图像中的NDVI和预测产量结合起来，估计了以下模型：
其中，是县级平均NDVI或预测产量， 是HRS治疗的指示变量，是时间效应。
实证设计的关键点：
处理选择：作者考虑到HRS最初是在贫困、偏远或面临饥荒风险的地区实施的，这可能导致了负面选择偏差。为了解决这个问题，他们采用了差异-断点设计，这种设计允许他们控制边界附近的固定效应，从而减轻了选择偏差的担忧。
时间动态：作者不仅关注HRS实施后的短期效应，还观察了长期效应。他们通过在不同时间点（如1年、2年、3年等）后观察HRS的影响，来评估其持久性。
稳健性检验：为了确保结果的稳健性，作者进行了多种敏感性分析，包括改变边界附近的观测点距离阈值，以及使用“清洁控制”（clean control）方法，即只比较那些尚未接受治疗的邻近省份。
通过这些实证设计，作者能够提供关于HRS对农业生产力影响的新见解，挑战了传统观点，并为理解中国农业和经济改革提供了新的视角。
结合原文，可以看到，在大模型给出的回答中，除了公式有错误之外，文章的思路还是基本正确的。因此，大模型确实可以作为文献阅读中的好辅助。当然，大模型在阅读细节的准确性上还是会产生一些问题，因此，目前对于大模型的应用主要应放在论文主要内容的概括和框架的整理上。如果对文章的细节有较高的要求，就需要人工介入。
五、文献整理
我们还可以将更多论文上传，让AI整理完主要内容之后形成一个表格，无论是写文献综述还是组会展示，都非常方便。比如我们可以选择3篇中国农业生产率的经典论文做例子，使用如下prompt来进行输出：请仔细阅读下面几篇论文，总结主要内容，并将论文的标题、期刊、作者、使用数据、基本方法和结论整理成表格。AI给出了非常清晰的结果：六、总结
AI大模型虽然不能代替人类，也尚有不足，但不可否认，善用大模型可以极大地提高我们的研究效率。快点把它加入工具箱中吧，节省时间的同时还能提高工作质量！
星标⭐我们不迷路！想要文章及时到，文末“在看”少不了！
点击搜索你感兴趣的内容吧
往期推荐
数据Seminar
这里是大数据、分析技术与学术研究的三叉路口