业内信息

审稿人工作量的影响因素研究——基于对Publons Top Reviewers个体特征的实证分析

2019-10-25 来源:《中国科技期刊研究》
  【作 者】黄颖、吴其达、宗乾进、张燕霏、徐英朔、程媛:华南师范大学

  【摘 要】[目的] 探讨影响审稿人工作量的主要因素,为科技期刊遴选审稿人提供参考。[方法] 从Publons平台中获取2018年Top审稿人的审稿行为数据,提取出基于审稿人个体特征的指标,并采用探索性因子分析法抽取出公共因子。[结果] 审稿人工作量的主要影响因素是审稿人的学术产出、学术影响力、学术兼职和研究资历。[结论] 科技期刊除了重视邀请资深科学家审稿外,还应特别重视向年轻科学家发出审稿邀请。

  【关键词】审稿人;工作量;同行评议;科技期刊;Publons

  审稿人是论文学术质量的把关人。对于学术期刊而言,同行评议是保证期刊学术质量的关键环节。审稿人能否认真、细致地审查稿件和提出全面、客观的意见,无论对作者、期刊,还是对整个科学共同体,都至关重要。在当前主流的单盲同行评议中,审稿人一直是“幕后英雄”。在当前科研绩效考核的大环境下,论文一直是衡量科学家绩效的重要指标。而科学家作为审稿人的贡献,却没有体现在科研绩效考核范围内。在这一指挥棒下,科学家们更愿意将时间和精力花在那些有助于他们获得终身教职和专业声誉的科研项目、科技论文等方面,而不是放在同行评议上[1]。Willis[2]开展的一项面向审稿人的调查发现,在拒绝审稿的审稿人中,89.5%的审稿人给出的原因是没有时间审稿。Breuning等[3]的调查也显示,“太忙”位居拒绝审稿原因的首位。长期以来对审稿人工作量的忽视,导致审稿人审稿积极性低下、科学论文出版周期延长等一系列问题。近年来,学界认可审稿人贡献的呼声越来越高[4]。

  审稿人的贡献(工作量)问题已经开始得到关注。近年来审稿人工作量的上升,主要与科技期刊数量持续激增[5,6]、期刊要求审稿人提交审稿意见的时间缩短[7]有关。此外,期刊的投稿量逐年激增[3,8]也是审稿人工作量上升的重要原因之一。Fox等[9]调查了2004—2013年Functional Ecology的收稿情况,发现其投稿量平均每年增长9.2%。Primack等[10]对审稿邀请记录进行了统计,发现在发出的审稿邀请中,仅有约37%的审稿人同意审稿。换言之,如果每篇稿件需要2位审稿人评审,那么编辑需要为每篇稿件邀请6位审稿人,方有可能满足这一要求。过往的一些面向审稿人的调查显示,大部分审稿人能接受的年均审稿量为12——60篇[11];然而,有接近7%的审稿人认为其审稿数量超过其所能承受的范围[12]。

  近年来,专注于同行评议的Publons平台迅速发展,为研究审稿人工作量提供了新思路。Ortega[13]认为Publons中记录的审稿人的审稿数量是审稿人在同行评议过程中所承担的工作量,是审稿人对学术共同体的贡献[14]。刘丽萍等[15]指出Publons的这些记录可以按学科类别统计审稿人的审稿数量,进而能够将审稿人的学术贡献显性化。在审稿人Publons个人主页上显示的审稿工作量,以及每年一次的Publons Top Reviewers评选,可以让审稿活动变得更有价值[16],也有利于审稿人影响力的形成[17]。

  综上所述,当前对审稿人工作量的研究主要有两方面的进展:(1)学术期刊编辑部通过自身拥有的审稿记录数据库以及向其审稿人发放调查问卷,对审稿人的实际工作量和期望工作量进行统计分析;(2)部分学者指出Publons能够为审稿人工作量的研究提供新视角。然而,目前研究仍然存在缺口:(1)从研究内容来看,对审稿人工作量的影响因素的探讨多聚焦于审稿人所处的外部环境(如新期刊数量激增等),而对审稿人个人特征的分析仍然非常匮乏;(2)从研究方法来看,虽然已有学者指出Publons可能会为研究审稿人工作量提供新思路,但是目前仅停留在理论层面,缺乏对Publons的实证分析。与以往研究有所不同,本研究尝试从两个方面对审稿人工作量进行研究:(1)尝试从审稿人的个人特征出发,研究影响审稿人工作量的个人内在因素,与现有研究的“外部环境”影响因素形成互补,为审稿人工作量研究领域提供新的理论知识;(2)与现有的对Publons平台的初步理论探讨有所不同,本研究采用实证研究方法对Publons进行分析,为研究审稿人工作量的影响因素提供经验证据,也为后人基于Publons进行实证研究提供参考。此外,本研究的现实意义在于能够为科技期刊邀请审稿人带来启发。

  1 数据来源与指标

  Publons创立于2012年,致力于通过利用同行评议来加速科学发展。Publons用户可以选择公开自己的审稿记录等信息。截至2019年3月,在Publons中注册的审稿人数量已超过60万。笔者以2018 Publons Top Reviewer页面(https:∥publons.com/awards/2018/esi/)为入口,获取审稿人所处国家、基本科学指标(Essential Science Indicators,ESI)学科等基本信息;然后依次获取该审稿人的审稿记录、论文发表记录等原始数据。基于可获得的数据,对原始数据进行处理,并抽取出部分指标,如表1所示。基于上述指标以及数据,采用探索性因子分析法分析审稿人工作量的主要影响因素。


表1   抽取的指标及其说明
指标 说明
学术生涯年数 该审稿人发表的第一篇论文所在年距离2018年的年份数量。该指标从原始数据中计算得到
审稿年数 该审稿人第一次审稿所在年距离2018年的年份数量。该指标从原始数据中计算得到
目前正担任期刊编委的数量 当前该审稿人正在担任多少种期刊的编委
经过认证的编辑的期刊数 经过认证的该审稿人经手编辑的期刊的数量
发表论文总数 截至2018年,该审稿人发表的论文总量。该指标从原始数据中计算得到
年均发文数量 截至2018年,该审稿人平均每年发表论文的数量。该指标从原始数据中计算得到
年均被引频次 截至2018年,该审稿人发表的论文平均每年被引用的数量。该指标从原始数据中计算得到
总被引频次 截至2018年,该审稿人所有论文的被引频次之和。该指标从原始数据中计算得到
篇均被引频次 截至2018年,该审稿人所发表论文的平均被引频次。该指标从原始数据中计算得到
研究领域数量 该审稿人涉足的研究领域数量
经验证的编辑记录数量 经过Publons认证的该审稿人编辑论文的数量
未经验证的编辑记录量 尚未经过Publons认证的该审稿人编辑论文的数量

  2 结果

  2.1 描述性统计

  本研究以2018 Publons Top Reviewers页面为入口,一共获取了6057条审稿人的原始数据。众所周知,被邀请参与同行评议的审稿人,往往都是那些已经有论文发表经验的学者。因此,对于数据集中论文发表数量为0以及为空(可能是用户没有在Publons中上传其论文发表记录,或是用户在Publons中的隐私设置所致)的记录,将其从原始数据集中剔除。最终,本研究获得了2799条有效的审稿人数据(接下来的统计均基于该数据集)。在国家地区分布方面(有部分审稿人的所在国家信息并未公开,占8.6%),排名前5位的国家分别为美国(17.0%)、意大利(7.2%)、英国(6.2%)、澳大利亚(4.4%)、西班牙(3.8%);在学科分布方面,排名前5位分别为:Clinical Medicine(13.0%)、Assorted(12.3%)、Engineering(9.2%)、Chemistry(8.3%)、Environment/Ecology(7.0%)。

  各指标的描述性统计结果如表2所示。


表2   各指标的描述性统计结果
变量 最小值 最大值 均值 标准误 标准差
经验证的编辑记录数量 0 3228 10.995 1.593 83.000
未经验证的编辑记录量 0 598 3.117 0.436 22.702
目前正担任期刊编委的数量 0 63 1.690 0.058 3.032
经过认证的编辑的期刊数 0 15 0.578 0.024 1.261
发表论文总数 1 1424 67.436 1.689 89.349
年均发文数量 0.047 43.692 4.134 0.070 3.730
年均被引频次 0 1797.824 70.802 2.277 120.464
总被引频次 0 50959 1394.066 58.494 3094.667
篇均被引频次 0 370.848 16.178 0.382 20.231
研究领域数量 0 89 5.028 0.096 5.063
学术生涯年数 1 54 15.075 0.175 9.256
审稿年数 0 49 6.948 0.078 4.106
  注:(1)变量“审稿年数”的最小值为0,实际上是该审稿人没有公开其详细审稿记录,此类数据共有10条,对于此类缺失数据,以0加以填充;(2)表2的统计样本为上述2799位审稿人。

  2.2 探索性因子分析结果

  探索性因子分析是利用降维的思想,在保证数据信息量损失最少的情况下,将多个原始指标转化为较少的几个综合性指标。影响审稿人工作量的因素多且相互之间存在相关性,因此,本研究采用探索性因子分析法来抽取出其主要影响因素。在进行因子分析前,需要先确定数据集是否满足因子分析的前提条件。其中最常用的检验方法是KMO(Kaiser-Meyer-Olkin)和Bartlett检验。根据这一检验,假设变量的变差均匀地分布在输入数据集中,且因子能够解释变量的方差比平均方差大,那么因子就被保留[18]。

  基于上述数据,首先进行了KMO和Bartlett检验,结果如表3所示。由表3可知,KMO值大于0.5,同时Bartlett检验的伴随概率为0.000,适合作因子分析[19]。


表3   KMO和Bartlett检验的结果
KMO值 χ2 df σ
0.613 17180.094 66 0.000

  在KMO和Bartlett检验结束之后,采用主成分提取、最大方差法进行旋转,各成分方差贡献率(累积方差贡献率)和旋转后因子载荷矩阵分别如表4和表5所示。

表4   各成分方差贡献率和累积方差贡献率
成分 初始特征值 主成分提取 旋转后
特征值 方差贡献率 /% 累积方差贡献率 /% 特征值 方差贡献率 /% 累积方差贡献率 /% 特征值 方差贡献率 /% 累积方差贡献率 /%
1 3.874 32.280 32.280 3.874 32.280 32.280 2.565 21.377 21.377
2 1.653 13.772 46.052 1.653 13.772 46.052 2.002 16.684 38.060
3 1.223 10.190 56.242 1.223 10.190 56.242 1.810 15.080 53.141
4 1.065 8.876 65.118 1.065 8.876 65.118 1.437 11.977 65.118
5 0.963 8.022 73.140            
6 0.921 7.672 80.812            
7 0.765 6.373 87.185            
8 0.633 5.277 92.462            
9 0.526 4.381 96.843            
10 0.250 2.085 98.928            
11 0.095 0.788 99.716            
12 0.034 0.284 100.000            

表5   旋转后的因子载荷矩阵
指标 因子1 因子2 因子3 因子4
年均发文数量 0.926      
发表论文总数 0.902      
篇均被引频次   0.940    
年均被引频次   0.751    
总被引频次   0.687    
经过认证的编辑的期刊数     0.791  
目前正担任期刊编委的数量     0.633  
经验证的编辑记录数量     0.614  
未经验证的编辑记录量     0.469  
学术生涯年数       0.725
审稿年数       0.654
研究领域数量       -0.568

  设第k个主成分Yk的方差贡献率为 φkφk,其表示第k个成分占原始信息总量的比重,计算公式为[20]

  φk=λk/∑k=1pλkφk=λk/∑k=1pλk  (1)

  若抽取m(m<p)个主成分,设m个主成分的累积方差贡献率为 φmφm,其表示m个主成分占信息总量的比重,计算公式为[20]

  φm=∑k=1mλk/∑k=1pλkφm=∑k=1mλk/∑k=1pλk  (2)

  由表4可知,本研究抽取出的前4个公共因子特征值的累积方差贡献率为65.118%,意味着这4个公共因子能够解释总方差的65.118%。在社会科学研究中,累积方差贡献率达到60%是可接受的[21,22]。

  对抽取出的4个公共因子,结合指标内容分别命名如下:将第1个公共因子命名为学术产出因子,该因子包含的指标为年均发文数量、发表论文总数;将第2个公共因子命名为学术影响力因子,该因子包含的指标为篇均被引频次、年均被引频次、总被引频次;将第3个公共因子命名为学术兼职因子,该因子包含的指标为经过认证的编辑的期刊数、目前正担任期刊编委的数量、经验证的编辑记录数量、未经验证的编辑记录量;将第4个因子命名为研究资历因子,该因子包含的指标为学术生涯年数、审稿年数、研究领域数量。

  3 讨论

  根据表5所示的旋转后成分矩阵,第1个公共因子在年均发文数量和发表论文总数这两个指标中载荷值较大。这一公共因子反映的是审稿人的学术产出数量,这两个指标的数值越大,则审稿人的学术产出越多,对审稿人工作量(审稿数量)的影响越大。因此,这一结果表明学术产出因子是审稿人审稿工作量的重要影响因素之一,这可能是因为审稿人的学术产出越高,其获得的审稿邀约越多。目前学术期刊寻找审稿人参与同行评议的路径,主要是邀请该领域内的知名学者、通过学术数据库(如Web of Science等)检索并邀请相关学者、邀请该期刊的编委等[23]。众所周知,成为知名学者,抑或是学术数据库中的某领域专家,再或是期刊编委,其重要前提往往是该科学家在某领域有着较高的学术产出。此外,持续保持较高学术产出的科学家往往具有旺盛的精力以及良好的时间管理能力[24]。这些优良的特征有助于高产出科学家能够审查更多的论文。审稿人工作量的第2个主要影响因素是审稿人的学术影响力。在表5所示的旋转后因子载荷矩阵中,第2个公共因子在篇均被引频次、年均被引频次、总被频次3个指标的载荷值较高,因此,被筛选出来命名为学术影响力因子。这3个指标反映了审稿人所发表的论文被引用的基本情况。被引频次是审稿人在科学界被他人认可程度的标志[25]。被引频次越高,可在一定程度上反映出被引者的学术贡献被他人认可的程度越高,换言之,审稿人的学术影响力越大[26]。学术期刊在遴选审稿人时,审稿人的学术影响力也是重要的筛选标准之一。审稿人的学术成果的被引频次越高,学术影响力越大,被学术期刊邀请为审稿人的概率也就越大。

  审稿人工作量的第3个主要影响因素是学术兼职。学术兼职因子在经过认证的编辑的期刊数、目前正担任期刊编委的数量、经验证的编辑记录数量、未经验证的编辑记录量4个指标上的载荷较大(表5)。科学家在科学共同体中往往具有多重身份,既可以是审稿人,也可以兼职为某些学术期刊的学术编辑、编委、主编等[27]。目前,学术期刊往往邀请在学术界有较高影响力的资深专家、权威学者作为期刊的编委会成员[28],而与普通学者相比,资深专家以及权威学者能够获得更多的审稿邀约。因此,科学家以学术兼职的身份参与到不同学术期刊的编辑以及编委的工作中,其收到的审稿邀请会越来越多,审稿工作量也会相应地增多。此外,与非期刊编委会成员(或兼职学术编辑)相比,期刊主编(编辑)对其编委会成员(或兼职学术编辑)更为熟悉。当需要评审稿件时,期刊更有可能优先邀请其编委会成员或兼职学术编辑来审稿,这使得拥有学术兼职的科学家能够获得更多的审稿机会,进而提升其审稿工作量。

  审稿人工作量的第4个主要影响因素是研究资历。在表5所示的旋转后成分矩阵中,研究资历这一公共因子在学术生涯年数、审稿年数和研究领域数量这3个指标上的载荷值较高,因此,被抽取出来用于度量审稿人在科学共同体中的资深程度。Coniam[29]分析了适用于评审人员的指南,对前人研究的语料库进行整理并对审稿专家指南的影响因素设立标签,其中的一个标签是学术背景。Coniam研究发现,科学家的学术背景对评审工作具有指导作用。从时间维度来看,审稿人的学术生涯越长、审稿年数越多,表明其研究资历就越深。研究资历深且持续活跃在科学界的科学家,往往在其研究领域中拥有较高的学术影响力,这使得他们能够获得更多的审稿邀请。需要指出的是,在研究资历公共因子中,研究领域数量与其他两个指标存在反向关系,这表明作为审稿人的科学家,其研究资历越深,研究的领域越专精,其在本领域中能够获得的审稿机会越多。

  4 结语

  本研究基于Publons平台中公开的审稿人数据,从审稿人的个人特征入手研究了审稿人工作量的影响因素。研究发现,影响审稿人工作量的主要因素是审稿人的学术产出、学术影响力、学术兼职和研究资历。

  本研究结果可为科技期刊遴选审稿人,进一步降低审稿人拒审率提供实践启示。由于对审稿人工作量的长期忽视,很多审稿人的审稿数量超出了其能承受的范围。审稿人的工作量不断增多,从而造成了审稿人的审稿积极性低、拒绝审稿概率大等问题。在学术产出、研究资历两个公因子中,分别有一个指标值得关注——年均发文数量、研究领域数量。本研究发现,年均发文数量越多,研究领域数量越少,对审稿人工作量的影响越大。年均发文数量多,研究领域数量相对较少的科学家,往往是学术界中冉冉升起的学术新星(如刚获得教职的年轻学者)。然而,科技期刊往往倾向于向业内权威科学家发出审稿邀约,而忽略了学术新星这一重要的群体。学术新星(年轻科学家)年富力强,在科研上的高产出能够为其专业能力提供保障。因此,科技期刊除了向具有高学术影响力、拥有数个学术兼职的资深专家发出审稿邀约外,还应该同时给予年轻科学家更多参与同行评审的机会,增强年轻审稿人的审稿动力,激励他们向资深审稿人转变,共同承担同行评议工作。如此,可从整体上减轻全体审稿人的工作量,更加高效、有序地推进科技期刊同行评议的发展。

  本研究同样存在局限性。本研究指标是建立在Publons平台中可以公开获取的十几个有限指标的基础上,在研究指标的多样性方面仍然有进一步提升的空间。未来研究可以结合审稿人性别、年龄等指标建立实证模型,探讨更多影响审稿人工作量的因素。此外,本研究的数据是截面数据,不能反映出审稿人工作量的动态变化。未来的研究可以考虑进行纵向分析,揭示审稿人工作量的动态变化以及相应的影响因素。

  参考文献

  [1]Niemi R G . Reducing the burden of manuscript reviewing[J]. Political Science & Politics, 2006,39(4):887-889.

  [2]Willis M. Why do peer reviewers decline to review manuscripts? A study of reviewer invitation responses[J]. Learned Publishing, 2016,29(1):5-7.

  [3]Breuning M, Backstrom J, Brannon J ,et al. Reviewer fatigue? Why scholars decline to review their peers' work[J]. Political Science & Politics, 2015,48(4):595-600.

  [4]李江 . 认可审稿人的学术贡献[J]. 图书情报知识, 2018(5):2.

  [5]霍振响, 屈李纯 . 高校科技期刊审稿人审稿数量的分布规律及思考[J]. 中国科技期刊研究, 2018,29(11):1136-1140.

  [6]Diamandis E P . The current peer review system is unsustainable-awaken the paid reviewer force![J]. Clinical Biochemistry, 2017,50(9):461-463.

  [7]Lubek J . The important role of the peer reviewer[J]. Oral Surgery,Oral Medicine,Oral Pathology and Oral Radiology, 2018,125(5):391-392.

  [8]Lajtha K, Baveye P C . How should we deal with the growing peer-review problem?[J]. Biogeochemistry, 2010,101(1/2/3):1-3.

  [9]Fox C W, Burns C S, Meyer J A . Editor and reviewer gender influence the peer review process but not peer review outcomes at an ecology journal[J]. Functional Ecology, 2016,30(1):140-153.

  [10]Primack R B, Maron M, Campos-Arceiz A . Who are our reviewers and how do they review? The profile and work of Biological Conservation reviewers[J]. Biological Conservation, 2017,211:177-182.

  [11]徐静, 干岭, 宁田海 , 等. 期刊审稿人问卷调查结果的分析与思考[J]. 中国科技期刊研究, 2012,23(2):212-214.

  [12]陈培颖, 陈倩, 李娜 , 等. 国内学术期刊同行评议现状的调研——基于国内自动化领域作者群和评审专家群[J]. 中国科技期刊研究, 2016,27(1):3-9.

  [13]Ortega J L . Are peer-review activities related to reviewer bibliometric performance? A scientometric analysis of Publons[J]. Scientometrics, 2017,112(2):947-962.

  [14]Gasparyan A Y, Gerasimov A N, Voronov A A ,et al. Rewarding peer reviewers:Maintaining the integrity of science communication[J]. Journal of Korean Medical Science, 2015,30(4):360-364.

  [15]刘丽萍, 刘春丽 . Publons管理模式对我国同行评审制度的启示[J]. 中国科技期刊研究, 2018,29(7):685-690.

  [16]Rajpert-De Meyts E, Losito S, Carrell D T . Rewarding peer-review work:The Publons initiative[J]. Andrology, 2016,4(6):985-986.

  [17]Gasparyan A Y, Nurmashev B, Yessirkepov M ,et al. Researcher and author profiles:Opportunities,advantages,and limitations[J]. Journal of Korean Medical Science, 2017,32(11):1749.

  [18]萨拉•博斯劳 . 统计学及其应用[M]. 孙怡帆,译. 北京:机械工业出版社, 2016.

  [19]Kaiser H F . An index of factorial simplicity[J]. Psychometrika, 1974,39(1):31-36.

  [20]朱建平 . 应用多元统计分析[M]. 2版. 北京: 科学出版社, 2015.

  [21]Peterson R A . A meta-analysis of variance accounted for and factor loadings in exploratory factor analysis[J]. Marketing Letters, 2000,11(3):261-275.

  [22]Hair J F . Multivariate data analysis[M]. Harlow:Pearson Education Limited, 2014: 107.

  [23]李明志, 锁志海, 赵大良 . 学术期刊审稿专家数据库的开发及其使用[J]. 编辑学报, 2004,16(4):274-275.

  [24]高芳祎 . 华人精英科学家成长过程特征及影响因素研究[D]. 上海:华东师范大学, 2015.

  [25]王海涛, 谭宗颖, 陈挺 . 论文被引频次影响因素研究——兼论被引频次评估科研质量的合理性[J]. 科学学研究, 2016,34(2):171-177.

  [26]Bean J R . Academic output and social media:A marriage of opposites[J]. World Neurosurgery, 2016,90:651-653.

  [27]程志波, 李正风 . 论科学治理中的科学共同体[J]. 科学学研究, 2012,30(2):225-231.

  [28]蔡斐, 李明敏, 徐晓 , 等. 青年编委的遴选及其在期刊审稿过程中的作用[J]. 中国科技期刊研究, 2017,28(9):856-860.

  [29]Coniam D . Exploring reviewer reactions to manuscripts submitted to academic journals[J]. System, 2012,40(4):544-553.

国家广播电视总局 | 湖北省人民政府 | 中国邮政集团公司 | 武汉市人民政府 | 中国期刊协会 | 中国图书进出口(集团)总公司 | 中国邮政集团公司报刊发行局 | 湖北省广播电视局 | 湖北日报传媒集团 | 长江广电传媒集团 | 长江日报报业集团 | 知音传媒集团 | | 湖北中图长江文化传媒有限公司 | 决策信息网 | 湖北新闻出版广电传媒周

copyright(c) 2013 湖北省新闻出版局 版权所有 技术支持

鄂ICP备19004605号-4  鄂公网安备 42010602004016号