当期荐读 2019年第2期 | 替代计量数据质量评估体系构建研究

Photo by Finding Dan | Dan Grinwis on Unsplash

余厚强１,２   曹雪婷１

(１．南京理工大学经济管理学院信息管理系,南京,210094; 

２．江苏省社会公共安全科技协同创新中心,南京,210094)

摘要

[目的/意义]旨在构建具有通用意义的替代计量数据质量评估体系， 为后续替代计量数据质量评估实证研究提供参考。 [研究设计/方法]梳理了替代计量数据生产流程， 识别了与数据质量相关的主体要素， 据此归纳总结出评估维度。[结论/发现] 构建了以准确性、 及时性、 复现性、 透明性和一致性为评估维度的一级数据质量评估体系， 以实现从数值、 流程和政策三个方面全面评估替代计量数据质量； 构建了每个一级维度评估指标下的二级评估体系， 归纳出具体的终端评估维度， 并结合已有研究做深入剖析。 [创新/价值]构建的替代计量数据评估体系对于替代计量数据质量的管理和提升具有参考价值。 

关键词

替代计量学   数据质量   数据质量评估 

评估体系 

1.引言 

科技发展离不开科学交流的基石和科技评价的指导，随着互联网对学术界的影响日益深刻， 各种新型在线科学交流形式和工具得以兴起， 科学成果类型不断丰富， 开放存取和开放科学成为潮流， 基于引文指标的定量科技评价体系已经不能满足科研工作者发展和科技管理部门管理的需要， 发达国家纷纷改革科技评估体系和基金资助方案[1] ， 替代计量学（Altmetrics） 兴起并引起了广泛关注、 研究和使用，成为图书情报学近年来的热点研究主题。 替代计量学在科技评价[2,3] 、 主题探测[4] 、 结构识别、 文献过滤等方面有广泛的应用前景， 主流数据平台都已开始提供替代计量数据服务。 

尽管替代计量学研究和应用已经取得了较大的进展，但是仍然有许多问题亟待探索和解决[5] ， 其中替代计量数据质量问题是关乎替代计量指标科学性与可靠性的关键问题。 Haustein[6] 敏锐地指出，没有高质量的替代计量数据， 就没有高质量的替代计量研究和替代计量服务。 尤其是当替代计量学用于评价研究时， 对数据质量的要求更加严格。 在传统文献计量数据质量评价方面， 已经积累了较多研究。 Hicks等人[7] 在《莱顿宣言》 中总结认为， 每个数据生产者都应提供正确的信息， 管理评估过程中也应该通过自我验证或第三方审查来确保数据的准确性， 以确保数据的质量。

不同于基于引文的传统文献计量， 替代计量数据的来源广泛， 具有多元性的特点， 并且在产生、 集成、 计算等方面都有待进一步探讨， 因此替代计量数据质量的评估更为复杂。 Patthi等人[8] 认为在替代计量研究中， 数据质量是一项重大挑战， 并且超越了文献计量数据已知的不准确性和偏差。 因此， 替代计量数据质量评估是目前需要研究的重点问题， 构建具有通用意义的替代计量数据评估体系， 使得后续的替代计量数据质量评估研究能在一定的框架内进行， 对替代计量指标更广泛的用于科学评价具有十分重要的意义。 本文首先归纳总结替代计量数据生产流程， 在此基础上识别替代计量数据质量评估的主体要素； 进而构建替代计量数据质量评估的一级维度体系和相应的二级维度体系， 并结合已有研究， 对各项评估指标做定义和解读； 最后对替代计量数据质量未来的改进提供建议和对策， 以提高替代计量数据的质量和完善替代计量服务。

2.替代计量数据生产流程分析 

通过梳理计量数据生产流程可以得到图１， 图１中的虚线框部分表示传统文献计量数据的生产流程， 整体流程图表示替代计量数据的生产流程， 数据质量是围绕整个计量数据生产流程而言的， 下面做详细分析。

2.1 文献计量数据生产流程

第一步，文献计量数据的起点是作者依据原始素材进行撰写，形成学术成果原始数据，这个步骤作者可能有意或无意地生成错误题录数据。 作者有意生成错误题录数据的情形包括：①伪造题录数据。 由于准确格式的引文数据难以找到，随意捏造卷期号或页码等；②篡改题录数据。 由于非英文字母或汉语生僻字无法顺利打出，转而采用形似的别字。 例如，将法语学者名中的“è”用“e”代替；③遗漏题录数据。 未严格按照参考文献著录标准，遗漏部分题录信息。 例如，在著录会议文献时，缺少会议地点信息。 作者无意间生成错误题录数据的情形包括：①笔误。 将标题、期刊名或作者名拼写错误；②误解。 例如，将外国学者的姓和名颠倒，尤其当外国学者名有中间名时，容易混淆。

第二步，学术成果原始数据经过期刊社编辑加工，形成规范化出版的学术成果，完善了题录数据。在极少数的情况下，期刊编辑在数据加工过程中也可能产生错误，但是这种错误较难识别，在研究中通常被归类到作者产生的错误。

第三步，学术成果数据经电子化由文献数据库收录，构成全文数据库，并提取和识别其中的参考文献数据，形成引文数据库。 目前，这个过程基本由程序自动完成，因此，存在许多类型的数据库映射错误（Mapping Eror）。

2.2 替代计量数据生产流程

替代计量数据是围绕学术成果产生的，所以第一步和第二步与文献计量数据生产过程相同，第三步是网络平台上用户对学术成果的交互（Engagement）与活动（Activity），这个过程中用户可能产生错误数据。 网络平台种类繁多，提及学术成果的形式多样，包括微博、新闻、政策文件等，这些形式的数据在提及学术成果时可能出现错误。

第四步是替代计量数据库利用数据收集程序，一方面从包括全文数据库在内的学术成果库中匹配并获得其题录数据，另一方面从网络平台中识别并保存提及学术成果的数据，最终融合、集成、存储和展示。 这整个过程都由机器实现，因此存在许多潜在的错误。

2.3 两种计量数据生产流程的比较分析

由此可知，传统文献计量数据的生产涉及作者、期刊社（或出版社）和文献数据库这三个主体，而替代计量数据的生产则额外涉及两个主体，即网络平台和替代计量数据库，因此，理论上来说，替代计量数据可能产生的错误类型更多。

由于替代计量数据库自身并不维护学术成果数据库（例如引文数据库），而是从外部学术成果数据库匹配和获取题录数据，所以虽然题录数据质量也构成替代计量数据质量的一部分，但是由于针对文献计量数据的研究已经较为透彻，所以这部分不在考察的重点范围。 例如，Altmetric Explorer数据库从 CrossRef 数据库中获取论文的题录数据，从Figshare平台上获取数据集的题录数据，这些题录数据由相应的平台去维护，不是Altmetric Explorer的工作重点。

3.替代计量数据质量评估的一级维度体系 

从替代计量数据生产流程出发，我们构建出替代计量数据质量评估的一级维度体系如图２ 所示。 替代计量数据质量可以从数值、流程和政策三个宏观层次去把握，对应每个宏观层次提出具体的评估指标，构成五个一级评估维度：用准确性和及时性来衡量替代计量数据数值方面的质量，用复现性来衡量替代计量数据流程方面的质量，用透明性和一致性来衡量替代计量数据政策方面的质量。

（１）替代计量数据数值的准确性。准确性衡量替代计量数据库提供的数据是否与实际的来源数据相一致，包括学术成果的题录数据、替代计量来源数据（例如政策文件）的题录数据等的准确性。

（２）替代计量数据数值的及时性。 及时性衡量替代计量数据库提供的数据是否具有时效性，即计算替代计量数据库中数据的采集、更新与来源数据的产生、更新之间的时间差，时间差越小，及时性越高。

（３）替代计量数据流程的复现性。 复现性衡量替代计量数据从采集、存储到展示应用的流程是否具有可重复性，即根据相同的原始数据、经过相同的步骤，是否能够取得相同的结果。 在科学界，复现性提供了评判研究结果的关键标准[9]，保障了研究结果的可验证性，这对于替代计量数据也是同样重要。

（４）替代计量数据政策的透明性。 透明性是开放科学环境下的必然趋势，要求替代计量数据政策透明公开，即替代计量数据在生产过程中数据采集范围、数据清洗策略、得分计算规则乃至数据防操控算法方面的公开。 透明性与复现性存在一定关联，即使替代计量数据库声称整个数据生产流程具有复现性，但是如果没有透明性，这种复现性将难以得到检验。

（５）替代计量数据政策的一致性。 一致性并非单独针对一家替代计量数据库提出的，而是指不同替代计量数据库之间数据政策的一致性。 不同数据政策指导下获得的替代计量数据均有价值，通过理解这种一致性将有利于合理使用不同的替代计量数据库，并且，将相同数据政策下的数据进行对比，能快速识别出存在潜在数据错误的记录，这种策略在大规模识别引文数据错误记录中已经得到应用[10]。 目前替代计量数据整合工具有 Almetrics．com、PLOS ALM、Plum Analytics、ImpactStory等，不同的替代计量数据库在整合分析时的数据源选择、数据获取、组织形式、服务形式等方面都不尽相同，在进行具体评价与应用时会造成诸多阻碍，由此带来的数据质量挑战也得到了广泛关注。

准确性是数据质量评估中最基础的维度，没有准确的替代计量数据，所有基于替代计量数据的研究和应用都毫无价值。 及时性能提高替代计量数据的应用价值，良好的及时性是替代计量指标的优势之一。复现性体现了替代计量数据的健壮性，不能复现的数据生产流程，严谨性将受到质疑。 透明性和一致性旨在解决替代计量数据库数据难以审计的问题，从而提高其数据的可信度，使得用户更好地理解数据的合理使用范围。

4.替代计量数据质量评估的二级维度体系 

在替代计量数据质量评估一级维度体系的基础上，我们对每个一级维度作深入剖析，构建二级维度体系，并结合已有的文献计量数据质量研究作对比和说明。

4.1 准确性维度下的二级评估体系

准确性维度是被研究最多的维度，替代计量数据的准确性评估在文献计量数据准确性评估的基础上，增加了新的评估内容，因此，我们先回顾一下围绕文献计量数据准确性的评估内容，再论述替代计量数据准确性的二级评估体系。

4.1.1 文献计量数据准确性的评估研究

目前关于学术成果文献计量数据准确性的质量问题已经得到了较为全面的探讨。 Buchanan[11] 提出文献计量数据错误可能来自两个方面，一是作者在为其出版物创建参考文献列表时所犯的错误，二是数据库映射错误（包括转录错误、引用文章来源记录错误等）。 Franceschini等人[12] 则提出 A 型错误和 B 型错误，其中A 型错误包括文章标题遗失和错误、作者名字、发表年限等方面的错误，B 型错误为映射错误（Mapping Error），包括对作者姓名或论文标题转录过程中发生的错误，参考文献列表不完整、DOI错误或缺失等。 国内也对引文数据质量进行了较为深入的探讨，苏新宁[13] 认为数据质量问题可分为来源文献错误和被引文献错误，来源文献错误包括文字上的错误、机构名称不规范、机构与机构类别不匹配、把部门名称当作机构名称著录等，被引文献错误包括被引期刊名不一致、被引论文标题不一致、被引论文作者姓名被错误标引等，错误主要出自期刊编辑部和作者。 曹开江[14] 通过研究发现不同引文数据库之间存在数据质量差异，常见的数据质量问题有缺刊、缺收品种、缺收卷期、缺收文章篇名和数据更新滞后。胡玥[15] 对引文规范化的问题进行了探讨，提出目前引文中尚存在引文缺项、非原则性问题、题名中的问题、作者中的问题、刊名中的问题、年代中的问题、期数中的问题等。 陈先军[16] 也认为引文中的著录质量（包括规范性和准确性）与引录质量（包括真实性和有效性）都可能对计量数据的质量产生影响。这些对文献计量数据准确性方面问题的总结为替代计量数据准确性评估提供了参考。

4.1.2 替代计量数据准确性的评估体系

上述这些错误类型，在替代计量数据中均会存在，此外，替代计量数据还有来自网络平台和替代计量数据库产生的数据错误。 替代计量数据准确性的二级评估体系如图３所示。

替代计量数据由学术成果数据和网络平台数据两部分构成，在被替代计量数据库收集时，还包括数据库的元数据。 因此，准确性从这三个方面去评估，若发生数据错误的记录数越少，则替代计量数据的准确性越高。 学术成果数据错误可能由作者、出版社、文献数据库、替代计量数据库这４ 个主体产生，每个主体可能会产生作者姓名、标题、期刊名、出版日期、辑期、页码、来源链接的错误。 其中作者姓名错误有作者姓名的缺失、作者姓名的文字错误、作者数量错误、作者顺序错误，同时在国外作者上还存在名姓颠倒、大小写混淆、缩写混乱、将学位误认为是姓名等；标题错误有标题的缺失、标题文字错误、标题名称不完整（缺少正副标题）等；期刊名错误有期刊名的缺失、期刊名的文字错误、正副刊名混淆等；出版日期的错误有日期的缺失、日期错误、日期不完整、更新日期与首次发表日期之间的差异、在线发表日期与正式见刊日期的差异等；辑期错误包括辑期的缺失、一刊多版、年卷(期)的错误等；页码的错误有页码的缺失、错误等；来源链接的错误有 DOI的无效、DOI与学术成果不符等。

网络平台数据错误可能由网络平台和替代计量数据库这两个主体产生，网络平台来源的错误主要是指网络平台上提及和讨论学术成果时，标记错了学术成果的元数据，替代计量数据库来源的错误是指对网络平台数据进行挖掘和采集过程中产生的错误，包括网络平台数据标题、作者、日期、链接的错误。 例如，在政策文件中提及学术成果时，著录错了学术成果标题、作者等，在学术推文中提及到的 URL 内容已更新、URL页面不存在、URL页面内容与记录不符等。

替代计量数据库元数据的准确性核查数据库在识别学术成果的过程中产生的错误，例如文本中对学术成果进行了提及但替代计量数据库未采集到，或采集到的文本并未真正提及学术成果等情况。

4.2 及时性维度下的二级评估体系

相对于传统的引文数据，替代计量数据的及时性一直被认为是其优势之一[17]，及时性维度下的二级评估体系如图４所示。

从图４可以看到，替代计量数据的及时性主要体现在两个主体，即网络平台和替代计量数据库。 网络平台数据的及时性体现在数据捕捉的及时性，即不同来源替代计量指标的及时性，例如以学术成果正式出版１８０天内被提到视为及时，则推特替代计量指标的及时率是６４％[18]，新浪微博替代计量指标的及时率是６９％[19]，政策文件替代计量指标的及时率较低是１２％[20]。 替代计量数据库数据的及时性体现在数据采集和数据更新两个方面，数据采集的及时性是指网络平台数据产生后经过多长时间能够被数据库采集到，例如传统的 Web of Science数据库对期刊文献的收录存在数个月的时滞，而 Altmetric Explorer数据库的采集是实时的；数据更新的及时性是指数据库呈现给用户的数据多长时间滚动更新一次，例如 Web of Science数据库每周更新一次，而 Altmetric Explorer 每天更新一次。

4.3 复现性维度下的二级评估体系

与文献计量数据相比，替代计量数据的复现性堪忧。 理想情况下，即使所有的引文数据库都消亡了，学术界仍然可以根据全文数据库重建引文数据，而替代计量数据本身是动态存在的，随时可能消失并且无法重建。 Bornmann[21]认为替代计量数据的来源主要是商业网络平台，这些平台没有义务维护数据用于学术研究，从根源上会影响替代计量数据质量。复现性维度下的二级评估体系如图５ 所示，由网络平台数据的复现性和替代计量数据库数据的复现性两部分构成。

网络平台数据的复现性是指不同来源平台的数据能够被重新获取。 为了保障网络平台数据的复现性，在数据生成、数据提供和数据更新三个方面均需要做出努力。 数据生成的复现性是指用户通过相同的渠道或方式能产生相同类型的数据，而不受时间的限制，例如博客这种数据形式能够持续存在，而非变成长微博等其他形式。 数据提供的复现性是指不同用户在该平台围绕特定对象获取的数据是一致的，原始数据内容不应随用户类型发生改变，例如公众成员、学者和政治人物在推特上获取的相关推文应当是一致的。 数据更新的复现性是指原始数据发生变化（例如用户对推文进行了更新、删除乃至撤消操作）之后，网络平台能够及时更新，甚至保存数据的不同历史版本，在不侵犯用户隐私的前提下，提供给研究者使用，以保持数据的可追溯性。

替代计量数据库数据的复现性是指不同的数据生产者依据相同的流程和方法，能够采集到相同的数据、计算出相同的结果乃至得到相同的结论。 流程操作的复现性体现在，替代计量数据库对数据的采集、清洗、加工和存储按照一套规范的流程进行，该流程可以被任意第三方独立验证。 方法应用的复现性体现在：基于收集到的数据所计算出的指标值是相同的。

Zahedi等人[22] 认为原始数据的可访问性会对数据质量产生影响。 Zahedi等人[23] 检验了 Mendeley阅读数据的复现性，发现 Mendeley阅读数可能随时间发生改变，例如若读者将文章从个人库中移出或删除，则 Mendeley阅读数会减少。 为了提高替代计量数据的复现性，可以借鉴Herzog等人[24] 根据莱顿宣言提出的指标复现性所遵循的原则，例如，指标应尽可能公开记录的方法；指标不应该绑定到特定的数据集，而是可以自由地应用于任何数据集；使数据可用的指标可以构建、测试和复制等。

4.4 透明性维度下的二级评估体系

文献计量数据库的透明性低是饱受批判的问题，例如，期刊影响因子的计算过程是个黑箱，不同引文数据库的引文量截然不同[25]。 替代计量数据的透明性同样存在问题[26]，例如，推特或博客上的论文以何种方式被提及，或者替代计量集成者如何识别论文在网络平台被提及，都还没有形成规定。 NISO 报告[27] 指出数据的透明性应体现在所提供数据的信息和细节是否清晰，文档是否完整，是否对所有用户开放以供验证。 Wilsdon[28] 提出要保持数据收集和分析过程的公开和透明，以便被评估者能够测试和验证结果。 Herb[29] 等人认为有必要为开放指标制定标准目录，这个目录包括数据源的选择、影响分数计算所依据的数据的开放可用性、公式和参数的逻辑等。透明性维度下的二级评估体系如图６所示。

如图６所示，网络平台数据的透明性主要是指数据的公开性，即网络平台是否通过某种方式提供涉及学术成果的数据，例如推特平台通过 API开放其数据，新浪微博数据需收取较高的费用，形成了门槛，而 ResearchGate等平台则不予分享数据。

替代计量数据库数据的透明性主要是指数据操作流程是否公开，即用户或其他第三方是否能够明确整个流程。 具体来说，可以分为四个方面（即数据集成、数据更新、数据访问和数据监控）的透明性。 数据集成的透明性要求替代计量数据库提供数据集成的方法、度量标准，包括元数据的处理、计算、权重等过程的记录，并且能够对派生数据和生成的指标有详细的、合理的解释等；数据更新的透明性要求替代计量数据库遵循一定的更新周期与频率，并且对数据的更新有一定的记录以供查证等；数据访问的透明性要求替代计量数据库提供数据的访问权限，如提供对数据、基础指标等的开放访问等；数据监控的透明性要求替代计量数据库公开对数据质量进行监控的方式。

目前不同的替代计量数据库在对数据进行收集、集成以及后期维护、管理上都存在着差异，要提高替代计量数据的质量、更好的应用替代计量指标，就必须提高替代计量数据的透明度。 但是透明度也是相对的，过高的透明度也会带来数据操控等一系列问题，对反操控机制保密是防止数据被操控的一种方法[30]。

4.5 一致性维度下的二级评估体系

替代计量数据质量一致性的二级维度体系如图７所示，从图７ 中可以看到，一致性是指不同替代计量数据库的一致性，具体表现在采集范围、采集方法、数据集成、展示应用和数据更新五个方面的一致性。

（１）采集范围的一致性衡量不同替代计量数据库在数据来源上的异同，替代计量数据来源主要包括在线社交平台、文献管理平台、新闻、政策文件、数据库以及自身的用户数据等五类[31]，不同的替代计量数据库所涵盖的数据来源各不相同，追踪的数据类型也不尽相同，在书籍、文章、数据集、幻灯片等形式上各有差异。

（２）采集方法的一致性衡量不同替代计量数据库获取数据方法上的异同，在网络平台数据采集层面，替代计量数据库在采集时所采用的访问方式也有所不同，例如，Altmetric．com，Plum Analytics 和CrossRef使用 GNIP 收集 Twitter数据，而 Lagoto 使用 Search API[32]。

（３）数据集成的一致性是指不同替代计量数据库会根据自身的标准选择集成特定的数据，使得替代计量数据分类结构、计算方式等各方面都会存在差异。因此即使采集范围和采集方法均相同，集成方式的不同也会带来结果的差异，例如，Lagoto 集成脸书的分享、喜欢和评论，而 Altmetric Explorer仅记录脸书公开帖子等[33]。

（４）展示应用的一致性是指不同替代计量数据库在数据展示与应用时，在数据分类、指标种类、详尽程度、可视化外观等方面可能存在的差异。 例如，PlumX将替代计量数据分为五个大类，与 Altmetric Explorer的分类略为不同，前者包括引文数据，后者没有计算引文数据；Altmetric Explorer提供综合性的替代计量关注度分数，ImpactStory则提供趣味指数；部分替代计量数据库仅提供最终结果的数值，而有些替代计量数据库还会提供其情境数据，包括摘要和原始数据等。

（５）数据更新的一致性反映了不同数据库对数据的更新速度、频率等方面的差异，也会影响到数据库中数值的报道。

研究不同替代计量数据库的一致性，既有利于理解各个替代计量数据库的特点，也可探测出潜在的可疑错误记录。 Zahedi等人[34] 的实证研究表明 PLOSALM，Mendeley和 Altmetric．com 这三家数据库在阅读量数据的收集与度量标准上存在差异。 Meschede 等人[35] 研究发现PlumX 和Altmetric．com 对 Mendeley 和维基百科采集的数据非常一致，而关于推特、博客、Reddit的数据一致性处于中等水平，对脸书、Google＋和新闻的数据一致性处于较低水平。 替代计量数据的一致性问题不仅存在于数据的获取与集成上，还体现在指数之间的差异，Dinsmore等人[36] 指出替代计量数据的各个供应商提供的替代计量指数之间目前几乎没有一致性，因此用户很难确定哪些数字最值得信赖且适合其特定用例。 由此可知，替代计量数据的一致性问题挑战了替代计量指标的可靠性[37]，不同集成者之间的差异对替代计量数据的应用带来了诸多的阻碍。

5.结论与展望 

替代计量数据质量已经成为替代计量研究与应用中倍受关注的问题，本文从替代计量数据生产流程出发，构建了替代计量数据质量评估的一级维度体系和二级维度体系，并结合既有研究作了深入剖析，以期为评估替代计量数据质量提供参考。 主要结论有以下五点：

（１）替代计量数据生产流程相比传统文献计量数据，额外涉及两个主体，即网络平台和替代计量数据库，因此潜在的质量问题类型更加多样。

 （２）替代计量数据质量评估的一级维度体系从数值、流程和政策三个方面出发，用准确性和及时性去评估数值，用复现性去评估流程，用透明性和一致性去评估政策。 其中准确性是数据质量的基石，复现性是数据质量的保障，透明性确保数据质量可以审查。

（３）从准确度维度考虑，可以评估作者来源数据、出版社来源数据、文献数据库来源数据、网络平台来源数据和替代计量数据库来源数据的准确性，并具体分析了影响准确性的潜在错误类型。 从及时性维度考虑，可以评估网络平台数据捕捉的及时性，替代计量数据库数据采集和更新的及时性。

（４）替代计量数据质量的流程方面，从复现性维度考虑，可以评估网络平台数据生成、数据提供、数据更新的复现性，评估替代计量数据库流程操作和方法应用的复现性。

（５）替代计量数据质量的政策方面，从透明性维度考虑，可以评估网络平台数据的透明性，评估替代计量数据库数据集成、数据更新、数据访问和数据监控的透明性。 从一致性维度考虑，可以评估不同替代计量数据库在采集范围、采集方法、数据集成、展示应用和数据更新方面的一致性。

通过上述替代计量数据质量评估体系，预期能够全方位地衡量和理解替代计量数据质量的现状，为提高数据质量提供完善的方向。 未来需要更多基于评估维度的实证研究，来获得具体的评估结果。 以提高替代计量数据质量为目标，需要从技术和制度两个方面着手。 第一，通过实证研究检验每个细分维度替代计量数据的准确性，探究造成数据错误的具体原因，从而改进数据处理程序。 第二，鼓励替代计量数据库公开数据处理流程和计算方法，以便学术界和第三方予以核查，保障数据复现性的同时能够提高数据可信度。

作者贡献说明

余厚强:提出研究思路、设计研究方案、论文撰写及最终版本修订;

曹雪婷:实施研究思路、论文撰写及最终版本修订。

参考文献

本文转自《图书情报知识》2019年第2期19-27页

版权归《图书情报知识》所有，欢迎转发到朋友圈，转载请联系后台。

制版编辑 | 朱静