查看原文
其他

学术引用之谜:高引用的真的是好文章吗?


作者:Amir Rubin, Eran Rubin

来源:山河随想录


本文研究了出于“战略性考虑”的论文引用行为。2006年,由于一些原因,著名期刊Journal of Business (JB)停刊,这一外生事件为讨论学术论文的引用行为提供了一次自然实验。利用DID方法,本文发现2006年之前在JB上发表的文章在其停刊之后引用数量减少了约20%。由于JB的停刊并不会影响在这之前已发表文献的科学贡献,因此这一结果表明,作者的论文引用受“战略性考虑”的影响,阻碍了科学进步。


引言
学术发表和引用是一个充满着不确定性的问题。在很多时候,好的论文难以在好期刊上发表,难以被引用。在论文的发表和引用过程中,充满了许多不可观测因素的影响。然而,在科学评价的体系中,学术成果的被引用数量往往是成果质量的一个衡量指标。根据引用数,可以将期刊分为不同层次,在顶级期刊上发文已经成为学者找教职的关键因素,成为顶级期刊编辑也是学者水平的衡量标志。因此,许多学者都喜欢引用顶级期刊的论文,因为这代表着文章质量。那么,这些顶级期刊文章的引用,到底是因为这些文章本身的高质量,还是出于一些“战略性”的特殊考虑(比如加强和这些期刊的关系)?本文的目标,便是检验顶级期刊论文引用背后的因素,以及这些是否能够解释这些期刊的高影响因子。


本文使用的方法是基于JB杂志停刊的自然实验。根据学术界的声誉,Journal of Business (JB)、Journal of Finance (JF)、Journal of Financial Economics (JFE)、Review of Financial Studies (RFS)、Journal of Financial and Quantitative Analysis (JFQA)五本期刊是金融学界的top期刊。但在2004年,芝加哥大学出版社宣布,JB将于2006年停刊。如果对于顶级期刊论文的引用确实存在“战略性”的考虑,那么JB停刊这一外生冲击必将影响到其之前已发表论文的引用:虽然论文的质量不会改变,但由于期刊已经没有了编委会、审稿人和学术会议,学者们将会缺少“战略性”的引用动机,因此可以预料,之前已发表的论文,相对于其它同层次期刊,其引用量将会减少。


数据和变量
(1)主样本
本文从Web of Science上收集了金融学top5期刊的文章信息,这一数据集包括了1995-2006年期间在这5本期刊上发表的所有文章信息,所有文章的引用是按照年份计算的,本文追踪的引用年份是文章发表后十年。此外,由于文章在发表当年很少有引用,故引用从发表第二年开始计算。因此,本文的时间年限是1996年到2016年,其中2006年是JB停刊的时间截点。主样本的统计描述如下表所示:



(2)辅助样本
为了分析作者的去世对论文引用轨迹的影响,本文还从IDEAS数据库收集了相关数据。我们的数据集包括了2000-2013年间去世的、在商学门类期刊(96种)至少有一篇论文发表的学者信息,这一样本包括110个作者和744篇论文。为了进一步分析,本文还收集了1990-2015年间所有诺贝尔经济学奖得主的信息,以及他们的论文发表情况。最后,为了进行稳健性检验,本文也收集了Financial Management和Journal of Banking and Finance两本期刊在1995-2006年间发表的论文信息。


(3)变量
本文的主要变量包括两个层面。文章层面包括:论文是否是开创性论文、作者人数、论文页数、参考文献数、标题字符数等;作者层面包括:作者是否是top期刊的编辑、作者单位、作者在过去三年里是否有top文章发表。此外,本文进一步根据JEL编码,生成了文章的JEL变量。


为了保证结果的稳健性,本文使用了三个指标对论文的引用情况(影响力)进行衡量:Citation是文章在某一年引用数加一以后取对数的值;Non-zero Indicator是一个二值变量,若某文章在某一年引用数量大于0,则赋值为1;H5 Indicator同样是二值变量,若某文章在某一年引用数量大于5,则赋值为1。


实证结果
(1)期刊影响力在研究时段内的变化
各期刊论文的年均引用数如下图所示(Non-zero和H5略去)。从图中可以看出,五本期刊的引用数都表现出增加的趋势。此外,各个期刊的影响力顺序也较为稳定:JF、JFE、RFS分别处于前三位,JFQA和JB处于后两位。



(2)基于发表后两年的引用数进行匹配
上表结果显示,JB相比于其它期刊,其引用确实有减少的趋势,但并不代表JB停刊是减少的原因,其中可能存在论文的选择性偏误。因此,本文将JB上的论文与其余期刊上的论文进行了匹配,匹配是基于各论文的发表年份和发表后两年的引用数进行的。匹配结果如下表所示。



从表中可以看出,在1996-2006年,JB的平均引用是0.764,显著(5%水平)高于其余期刊的0.718,另外两种指数无明显差异。而在2007-2016年间,JB的平均引用量是0.923,显著(1%水平)低于其余期刊的1.123,另外两种影响力指数均显著低于其余期刊。匹配结果图如下图所示。



(3)倾向得分匹配(PSM)
上一部分使用前两年的引用作为论文质量的代理指标进行匹配,以减小选择性偏误,但是,还有许多与作者或论文相关的特征会影响到论文的引用轨迹。因此在这一节,使用倾向得分匹配的方法进行匹配。基于Probit回归模型的倾向得分的计算方法如下式所示。两种模型的区别是,第二种模型包括了根据JEL分类的论文Topic。



在进行PSM后,进行了DID处理,结果如下表所示(在下表中,*代表在1%水平上显著)。在两个模型中,第一行都是JB和Pooled的DID结果。以第二个模型为例,可以看到,在1996-2006年间,JB的论文和所匹配其余论文的各个影响力指标都没有显著差异,但在2007-2016年,JB论文的影响力已经显著低于其余期刊的匹配论文。



(4)基于自回归模型的DID分析
作为一个补充,在这里使用自回归模型分析各个期刊上论文的引用轨迹。基于自回归模型,可以分析论文引用在2006年处是否存在一个突变点。自回归模型的优点在于,它允许我们使用其余四种期刊的论文进行DID分析。这一模型包括了一个指示2006年后时间段的二值变量,这一变量使我们可以发现JB停刊以后,论文引用的变化。模型如下式所示:

在这一自回归模型中,β2是关注的核心变量。如果对于JB来说,其β2显著低于其余四种期刊,便说明在其停刊以后,影响力明显下降。自回归结果如下表所示。从结果中可以看出,Post这一变量对于JB并不显著,而在其余四种期刊中均显著为正。例如,对比JB和JFQA的系数可以发现,在JB停刊以后,其论文引用数要比JFQA低20%左右。



稳健性检验
(1)安慰剂检验
为了进行安慰剂检验,在此将JB停刊的时间点分别设置为1999-2006年,同样使用上一部分的模型进行自回归,比较系数β2的差异。结果如下表所示。这一结果显示,当调整JB的停刊时间至其它年份时,JB的引用情况与其它期刊无明显区别,只有在2005、2006两年有显著差异。这一检验结果支持了之前部分的结论。



(2)论文自引
在JB停刊后,其论文引用减少的一个可能原因是,JB的文章存在着大量的自引,因此停刊造成了其引用减少。因此,本文也收集了各种期刊的自引情况。结果显示,在停刊之前,JB的自引率为6.2%,其余期刊的自引率为4.3%,两者差值仅有1.9%。这一差值无法解释JB停刊以后高达20%的引用量减少。因此,论文的自引不是导致JB引用量减少的主要原因。


(3)其余样本

①非top金融期刊
top期刊发展中的某些时间趋势可能影响到本文结论,因此在这里,使用非top金融期刊的论文与JB的论文进行匹配(虽然这一匹配不一定合适,但用来检验稳健性还是可以的)。匹配和DID的结果如下表中Panel A所示。结果显示,无论是模型一还是模型二,在JB停刊之前,其论文引用数量都比其余非top金融期刊的论文要高;但在其停刊之后,结果则反了过来。



②2004年之前的样本
在2004年之后,JB上发表的论文大幅度增加,论文质量可能有所下降。因此,为了进一步检验稳健性,在此舍弃2004、2005、2006三年的样本。检验结果如上表中Panel B所示,与基准回归基本保持一致。


③非金融论文
JB有时也会接受来自其它商科的论文。在此,本文根据论文的JEL号,将论文分门别类,挑选出非金融类的论文,共占总论文数的16%。匹配分了两个匹配库,第一个库包含了所有论文,第二个库只包含了非金融论文。结果报告在上表的Panel C中。同样支持基准结果。


(4)阅读量
在JB停刊以后,其阅读数量可能会影响到引用量。如果JB的阅读量随着其停刊而减少,则可以预料,其引用也会随之减少。但值得注意的是,JB的停刊使其原有的论文全部open access,因此不一定会减少阅读量和引用量,甚至可能会增加。已有研究便显示,开放获取的期刊阅读和引用要明显高于非开放获取期刊。


不过,尽管处于开放获取状态,但仍可以观察到在JB停刊之后,其阅读量减少,进而影响到其引用量。为了检验这一可能性,本文从Web of Science获取了2014-2018年的论文下载量,这一变量为Readership,再使用2014-2018年的论文引用情况作为被解释变量,下载量作为被解释变量进行横截面回归(控制变量与之前相同)。可以预期,这一回归的系数为正,同时如果JB的引用量下降是由于其阅读量的减少,那么JB的回归系数应与其余期刊相似。而在另一方面,如果本文所提出的“战略性考虑”假说成立,那么JB的系数应该显著小于其余期刊。回归结果如下表所示,再一次支持了本文假设。


(5)JB论文口碑下降的可能性
出现本文结果的另一种可能性是,JB的停刊或许会让人们产生一种感觉,即JB这种只存在于历史中的期刊,质量比不上现存的期刊,即所谓的口碑,因此减少了JB论文的引用。为了验证这一可能性,本文使用了JB停刊前后几个关于不同金融(少数经济)期刊口碑的调查数据,以及各个学校PhD课程阅读材料中各期刊论文占比数据展开研究。结果如下表所示。从这一结果中可以看出,在JB停刊前后,其口碑并未发生明显变化。


机制
(1)哪些论文最受“战略性”引用的影响?
根据本文的基本假设,我们可以合理预测,对于top期刊而言,如果确实存在大量的“战略性”引用,这些引用更有可能发生在质量较低的论文中,因为它们的引用,出于科学性目的的要少一些,“战略性”引用的比例更高。由此,在2006年JB停刊以后,低质量的论文受到的影响更大,即β2这一系数更小。因此,在此以论文引用数作为质量的代理指标,根据引用数将论文进行分组,并估计各自的β2这一系数。结果如下图所示。这一结果显示,对于低质量的论文来说,JB停刊使其引用量下降更明显,支持了本文的假设。



(2)忽视效应
在JB停刊以后,影响到JB论文影响的另一种可能机制是学者对它的“忽视效应”。这一效应是说,如果一篇JB论文和另外一篇论文的领域一致、内容高度相关,那么后来的许多文章常常会一起引用它们。然而,在JB停刊以后,后来的学者在引用时,常常会忽略掉JB的期刊。为了检验这种效应是否存在,在选择样本后,选择以下模型进行回归:


结果如下表所示:


作者的去世与论文引用趋势
(1)top期刊与非top期刊作者去世的影响
当一个作者去世后,他的论文引用数量可能会大量减少,因为他不能再担任期刊编辑或者审稿人,无法再对学者们的事业有帮助,因此“战略性”引用会减少许多。可以预期,对于top期刊的论文而言,其作者的去世有一种“光环”效应,可以增加其引用量(例如歌手去世后,广播站播放其歌曲);但对于非top期刊的论文而言,没有“光环效应”笼罩,其引用量应该减少。因此,在此用以下模型进行回归,结果如下表和下图所示,与预期一致。


(2)诺贝尔奖:获奖与去世
具体原理同上一部分,结果如下表所示。在获得诺奖以后,学者的论文引用数量有着显著增加,是由于获奖带来的“光环效应”。值得注意的是,诺奖得主作为领域内顶级学者,其去世的“光环效应”不明显,因此在匹配后,去世后由于“战略性”引用减少,会导致其引用下降。



“战略性”引用与论文质量
“战略性”,或者说功利性的引用,会导致论文质量的下降吗?且先不讨论这其中是否存在明确的因果关系,我们仅从直觉上可以推断,如果一个学者喜欢“战略性”引用的话,其论文的科学贡献往往会更低(如果真是大学者和好论文,也不需要这种功利性的引用)。为了检验这一点,本文收集了2006年之后发表在金融四大刊上的论文,从中提取出了那些“应该引用JB论文但没有引用”的文章,并估计了以下的模型,结果如下表所示(方程中,CJB是表示“应该引用却未引用”的二值变量)。


写在最后

The editorial process is highly imperfect. The bad news is that some of your best articles may end up getting rejected from the top journals. The good news is that you may get lucky, and some of your so-so articles may end up published in top journals simply because they hit the editor’s desk when he is in a good mood.

——Gregory Mankiw

更多阅读:

预印本能否引用?如何引用?
「观点」少用术语:论文被引多的秘诀
如果作者问如何获得引用许可授权,就把这篇微信转给他/她


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存