业内信息

科技期刊在同行评议环节存在的问题及对策

2019-12-12 来源:《中国科技期刊研究》
  【作 者】江睿、艾红、丁彦文、章丽萍、闫帅:中国水产科学研究院南海水产研究所,农业农村部外海渔业开发重点实验室

  【摘 要】[目的] 挖掘中文科技期刊在同行评议环节存在的问题,并探讨对策,以期为科技期刊优化审稿人队伍,提高办刊质量和影响力提供一定的参考。[方法] 对搜集到的288位审稿专家的11个主要特征信息(学科、学历、职称、单位性质、性别、审稿次数、平均审稿时长、最长审稿时长、缺审次数、投稿次数、平均审稿得分)进行统计和相关性分析, 将定量统计与定性的经验分析有机结合。[结果] 期刊在审稿人选择、审稿专家库构建、审稿效率和质量、审稿评分机制上存在一系列问题。[结论] 为了解决同行评议环节存在的问题,在审稿人遴选上,应尝试为职称较低但具有高学历和高学科活跃度的科研人员提供更多的审稿机会,并构建优秀作者补充审稿专家库的机制。在审稿人管理和评价上,应在突破传统培训模式的基础上,加强培训,并量化审稿评价方法,保障审稿人评价的公正性。期刊还应加强与审稿人的互动和互助,从为其提供服务的角度出发制定合理的激励措施。

  【关键词】同行评议;相关性分析;审稿人遴选;审稿质量评价;激励机制

  科技期刊作为各类研究成果的重要展示平台和传播媒介,对科研工作的发展有着举足轻重的作用[1]。长期以来,同行评议都是科技期刊遴选论文、保障文章质量、提升学术影响力的一种重要机制。同行评议的雏形最早可追溯到17世纪中叶,英国皇家学会刊物The Philosophical Transactions of the Royal Society开创了邀请同业人士对文章能否发表进行评定的先河[2]。第二次世界大战之后,科学技术的快速发展引发了论文和期刊数量的激增,20世纪中叶以后,同行评议被公认为是科技期刊出版的基石[3]。

  实际工作中,同行评议发生在外审环节,编辑在此环节中发挥着非常重要的作用[4]。多数情况下,编辑会根据文章所属学科来选择相关领域的科研工作者进行同行评议,人数通常为2——3位[5],当评议结果出现分歧时会再增补1位,以尽可能地保证评议结果的科学、公正、专业、具体。审稿专家的选择多来自于杂志社自建的专家库,编辑在选择评议专家时,除了考虑学科相关性外,还会将专家之前审稿所获得的责编评分作为其审稿质量的重要体现,以及是否选择其再次作为审稿人的主要依据。由于同行评议环节涉及诸多复杂的主、客观因素,近年来同行评议过程中存在的问题引起了国内外学者的普遍关注。Janke等[6]研究了同行评议对提高文章质量的重要性,并指出外审专家培训计划对同行评议质量的提高具有关键作用。Bogossian等[7]以期刊Women and Birth的同行评议情况为例,指出外审专家在接受审稿前需要思考和确认的问题,避免盲目接受不合适稿件,从而影响审稿质量。Vinther等[8]和Siler等[9]均通过对退稿进行追踪和分析,进而对同行评议的质量进行评估。吴锦雅[10]分析了初投稿件质量和外审专家对同行评议质量产生的影响,并提出了一些概括性的建议。成方哲等[11]以个人和非个人因素两个方面为切入点,指出了同行评议在评审尺度、出发点和人情关系等方面存在的问题,并希望通过编辑部的积极介入减少上述因素的不利影响。以往研究多数建立在对工作经验的总结和简单的统计分析上,无法深挖问题根源,所提出的解决办法也多为方向性的梗概,缺乏可量化实施的对策。

  本文以《南方水产科学》的审稿专家数据库为研究样本,通过分析、总结编辑部在同行评议环节的工作经验,定性地指出其中存在的症结,并对审稿专家的各类主要信息进行统计分析,定量地研究他们与平均审稿得分之间的相关性,将实践经验与科学的数理分析相结合,弥补多数已有研究在纯经验分析上存在的主观性,深入发掘审稿质量的关键影响因素,提出可量化实施的对策,以期为科技期刊构建合理的审稿专家库,客观评价同行评议结果提供一定参考。

  1 研究方法

  1.1 数据收集

  本研究从《南方水产科学》玛格泰克采编系统的全部人员信息中调取了审稿专家信息和可能与其审稿情况相关的各类信息。共搜集了288位审稿专家(曾参与过审稿的所有专家,分布在水产科学及相关专业的各个领域)的11个主要特征信息,包括学科、学历、职称、单位、性别、审稿次数、平均审稿时长、最长审稿时长、缺审次数、投稿次数和平均审稿得分,并对这些数据进行统计和相关性分析,深挖数据内涵。

  1.2 数据分析方法

  使用Excel 2010和SPSS 19.0软件对搜集到的数据进行统计和相关性分析,并将分析结果绘制成图。其中,平均审稿得分作为审稿质量的直接表现形式,是众多特征信息中的关键信息,是分析各类特征信息与审稿质量相关性的基础。审稿得分是编辑对审稿人实际审稿质量的定量评价,具有相对较高的主观性,有时候甚至会出现漏评的现象。然而每位审稿人的审稿得分并不出自同一位编辑,可能面临的漏评概率相近,属于偶然误差。在统计学上,求平均是减少偶然误差的一种有效行为。本研究通过对每位外审专家的多次审稿得分求平均,用平均审稿得分作为关键特征因素,尽量消除偶然误差,弱化个体因素对得分的影响。

  2 结果分析

  2.1 审稿专家数据库的人员构成

  本研究中,审稿人所在单位主要为科研院所(50%)和高校(49%),受专业影响主要以男性为主(85%),所从事的研究方向涵盖了水产科学下的各个分支学科,还涉及到海洋、化学、环境等与其相关的交叉学科,学科分类的细化程度较高。从上述分析可以看出,样本在数据分布上具有较高的完整度和代表性。所有被统计的审稿人中,在职称分布上,以正高级职称的专家人数最多,共222人(其中教授115人,研究员107人),占总数的79%(图1)。在有学历记录的统计样本中,具有博士学历的专家人数占比最高,达到71.6%,其次为硕士,占13.8%。研究样本整体呈现出高职称、高学历的特征,体现出编辑选择外审专家时,在细分学科匹配的情况下更倾向于选择兼备上述特征的审稿人。然而在上述高职称、高学历的审稿专家库的支撑下,审稿质量却差强人意,审稿得分并没有呈现出相应的高水准,大于0的数据有167个,最高5分(即为满分),最低1分,平均3.135分,众数为3.5分,平均审稿得分和最常出现的审稿得分均略超合格线,未达良好。这种审稿质量不理想的情况也普遍存在于其他学科的期刊中,如陈培颖等[12]在实践中发现国内自动化领域的学术期刊在同行评议环节存在质量问题,李鹏等[13]也指出医学科技期刊在同行评议环节存在弊端,本研究通过数据统计得到的结果与其他研究从实践经验中分析的情况基本吻合。


图1 审稿专家数据库的人员构成 (a)按具体职称统计;


图1 审稿专家数据库的人员构成(b)按职称级别统计

  2.2 各因素与平均审稿得分的相关性分析

  为了研究各项审稿人特征变量与平均审稿得分之间的相关性,采用SPSS 19.0软件对统计数据进行相关性分析。两个连续变量间呈线性相关时,使用Pearson积差相关系数;不满足积差相关分析的适用条件时,使用Spearman秩相关系数来描述。因此,本研究采用Pearson分析法对两个连续变量(如平均审稿得分、审稿时间、审稿次数、缺审次数)进行分析[14],采用Spearman分析法对两个变量均为分类变量(如学历、职称、性别、单位)或只有一个变量是分类变量的情况进行分析[15]。

  相关性分析结果显示:平均审稿得分与审稿次数表现出显著的正相关性(P<0.01),说明审稿次数多的审稿人,其审稿质量也相对较高;平均审稿得分与平均审稿时长呈显著负相关性(P<0.01),表明审稿时间过长可对审稿质量造成不利影响;平均审稿得分与投稿次数和学历表现出显著正相关性(P<0.05),而与职称、性别、单位性质和最长审稿时间无显著相关性(P>0.05)(表1和表2),则说明拥有作者和审稿人双重身份的高学历审稿人的审稿质量更高,而与平均审稿得分无显著相关性的因素则不应成为选择审稿人时首要考虑的因素。在上述各特征信息中,平均审稿得分与审稿次数的相关性最高(P<0.01,R=0.417)。

表1 特征变量与审稿得分相关性的Pearson分析
特征变量 审稿次数 投稿次数 平均审稿时长 最长审稿时长 缺审次数
P 0.000 0.011 0.000 0.221 0.660
R 0.417** 0.185* -0.283** -0.089 -0.032
  注:*表示在P<0.05上双侧显著相关;**表示在P<0.01上双侧显著相关。

表2 特征变量与审稿得分相关性的Spearman分析
特征变量 学历 职称 性别 单位性质
P 0.015 0.443 0.287 0.673
R 0.196* -0.57 0.078 -0.031
  注:*表示在P<0.05上双侧显著相关。

  3 讨论

  3.1 审稿专家选择上存在的误区及其影响

  从上述的统计分析结果可以看出,在审稿人选择上,编辑更倾向于选择具有高职称的审稿专家,这就意味着在同一细分专业下,职称更高的科研人员可以获得更多的审稿机会。而上述相关性分析却表明审稿专家的审稿质量与他们的职称高低并没有显著的相关性(表2)。与此同时,审稿专家的职称高低却与缺审次数具有显著的相关性(P=0.036,R=0.629)。通常情况下,由于各种不确定因素的影响,审稿人在收到审稿邀请后不会迅速(一天内)拒审,编辑部一般会在一周左右收到拒审通知,长则一个月甚至更久的情况也时有发生[16],这就会造成整个外审流程的时长增加,影响文章发表速度。对作者而言,文章的发表周期也是其选择投稿期刊的重要因素之一[17],所以由上述情况造成的外审流程滞后也会对期刊的来稿数量和质量造成一定的不利影响。此外,具有高职称的审稿专家往往积累了丰富的研究成果并拥有较高的学术声誉,通常都是具有高学术水准的科研人员,而国内学术期刊的论文水准定位可能会与这类专家的科研水平产生一定落差,导致其对送审稿件并无太大兴趣[18],即便没有拒审也无心仔细阅读,给出的审稿意见也会相对潦草,有的审稿专家会让学生代为评审,造成审稿结果片面、局限[19],导致审稿质量不高,此类现象在外审流程的实践中时有发生[20]。

  3.2 审稿次数与审稿质量的关系

  相关性分析结果显示,审稿专家的平均审稿得分与他们的审稿次数具有显著的相关性(P<0.01,表1),说明审稿次数多的专家,其审稿质量相应更高。在实践中,期刊都会对作者的来稿(格式、内容)进行规范化要求,然而由于各种原因,很少有期刊会对审稿专家的审稿意见进行一定的规范。各审稿专家的性格、所处环境、对文章的理解和对审稿这项任务的认识等存在较大差异,使得编辑部收到的审稿意见具有较鲜明的个性特征[12]:有的详细,有的简要;有的注重写作细节,有的则更看重文章结构。审稿质量与审稿次数的正相关性,从某一层面上反映出审稿专家在一次次审稿实践中的自我提升以及与编辑部的磨合,也反映出这一环节中存在的规范性不足引起的审稿效率和质量较低的现实问题。

  4 思考及建议

  4.1 审稿专家的遴选和优化

  4.1.1 合理选择审稿专家

  本研究发现,审稿专家的审稿质量虽与职称高低无关,但却与学历表现出显著相关性(表2),学历较高的审稿人往往能给出更加详细中肯的审稿意见,从而获得更高的审稿得分。而在实践中,编辑则常常会把职称高低作为选择审稿人的关键因素,造成在审稿人选择上的长期误区和审稿专家库构建上的不合理。因此,在选择审稿专家时,不妨以细分专业的相关性为首要前提,尽量选择研究方向与文章主题相同或相近并能给出快速回应的审稿人,而不是一味追求高职称所映射的权威性。

  具有博士学历的年轻讲师、助理研究员、博士后等,往往是科研一线最为活跃的新生力量;但许多具有高职称的专家除了科研工作外也承担了较多的行政工作,精力有限。相比之下,一些具有高学历的年轻科研人员在捕捉到更多科技前沿的同时,也具有相对较多的可分配时间,他们接受审稿的可能性更大,审稿时长也相对较短。然而,并不是所有具有相同细分专业背景的高学历年轻科研人员都适合成为审稿专家。为了保证外审结果的权威性,在准备选择一名新的审稿人前,编辑部还需对其学术活跃性进行考核,主要方法是考察拟选择的审稿人近5年内是否在该领域有论文发表、发表论文篇数、发表期刊级别[21];只有积极跟踪本学科研究前沿的科研人员,才能更好地完成审稿任务。在通过上述考核后,编辑在选择审稿专家时,不妨尝试给职称较低但具备高学历和高学科活跃度的年轻科研人员提供一些审稿机会,并对其提出要求,加以指导,这既能为编辑部的审稿专家库注入新鲜血液,也可以使其逐渐发展成为常用审稿人的后备力量。

  4.1.2 科学构建审稿专家库

  投稿次数与平均审稿得分的显著正相关性(P<0.05,表1)可以间接反映出将高质量文章的作者发展为审稿专家在实践中的可行性。一方面,投稿次数较多且具备一定资历的作者与所投期刊的互动性较高,经过几次投稿,其已经对期刊的需求有了较为全面的认识。另一方面,这种类型的审稿人由于存在发表文章的需求,会更加注重自己留给编辑部的印象,也会更加重视编辑部给予的审稿任务。因此,编辑部可以从已发表稿件的作者中寻找有多次投稿经历、且学历和学术活跃度较高的作者,将其发展为审稿专家,形成用作者补充专家库的良性循环机制。

  4.2 审稿专家的培训、管理和评价

  4.2.1 加强审稿人培训,突破传统培训方式

  针对在审稿环节中存在的规范性不足引起的审稿效率和质量较低的现实问题,编辑部可以尝试在充分尊重审稿专家主观能动性的前提下,对其审稿行为进行简要培训,这是提高审稿质量和审稿效率的必要手段之一[22]。然而多数审稿专家科研任务重,如何缩短培训时间并提升培训效率,避免审稿专家产生抵触心理,也是编辑部需要思考并克服的问题。

  从前文对审稿人的特征分析结果可以看出,审稿人虽工作繁忙,但多为学习能力和领悟能力强的科研人员,针对这些特质,对审稿专家的培训可以不拘泥于传统认知下的模式化培训,应开辟一些新型、高效的培训模式。依据期刊工作经验,给出以下关于间接培训和直接培训的两种建议。(1)间接培训,以审稿指南形式出现,附在审稿邀请邮件中。而审稿指南也应突破千人一面的传统模式,对第一次审稿的专家采用常规的审稿指南;而对于非首次审稿的专家,编辑则应充分发挥主观能动性,根据其前几次审稿中存在的问题制定适合该专家的个性化审稿指南,这种个性化的审稿指南既可以对审稿人起到积极的引导作用,又可以帮助其提高审稿效率。审稿指南的撰写应站在审稿专家的角度,分析他们在审稿时可能出现的困惑,审稿指南不需要像写作指南那样详细,应尽量简明扼要、提纲挈领,让审稿人在较短时间内就可以了解到编辑部对稿件内容和质量的要求;在尽量保持审稿人特性的同时,对审稿流程及需要注意的几个方面进行说明,使得审稿意见在大体结构上具备一定的标准化和规范性,而在具体细节上又不会对专家的思维产生过多干扰。(2)直接培训,传统的直接培训大多以培训会的形式存在,占用了审稿人较多时间,多数审稿人对此较为排斥,拒绝参加,因此这类培训的组织难度较大。但是,如果编辑部可以转换思维,以学术交流会的形式召开,紧密结合期刊主题,以学术交流为主,培训为辅,邀请作者和审稿人共同参加,根据本年度发表文章的几大热门主题设置会议模块,并在学术会议间隙插入一段时间的培训内容,这样既可以提高审稿人的参会意愿,达到培训目的,又为审稿人和作者提供了一次面对面交流学术进展的机会。可以每年举办此类会议形成传统,这将会对期刊影响力的提升起到更大的促进作用。

  4.2.2 量化审稿评价机制

  审稿人在完成一次审稿任务后,编辑应根据审稿质量对其进行评分,本研究中该得分为0——5分。在选择审稿人时,审稿得分是重要的参考依据,得分高,说明审稿质量高,再次出现研究方向一致的稿件时会被作为优先考虑的对象,而得分低的专家往往会被弃用。这就要求审稿得分要能够真实地反映出一个专家的审稿质量和态度。然而,实践中给审稿专家评分这项任务往往具有非常高的主观性,编辑在审稿结束后主观地给出一个分数,有时还会出现漏评的情况(默认为1分),很可能会影响到审稿得分的公正性和准确性。因此,制定一个完善且可量化的审稿评价机制(审稿评分细则)就显得非常必要。一方面,编辑需要充分认识审稿评分的重要性,认真对待,尽量避免错评、漏评现象的发生;另一方面,编辑可以在评分时根据审稿情况比照评分细则给出相对客观、公正的分数。制定审稿评分细则需要考虑到审稿质量的各种影响因素,主要包括是否接受审稿、审稿时长、有无审改稿、审稿意见是否完备,并根据这些因素对审稿质量影响程度的大小分别对其分配相应权重的分数,满分为5分。本研究所设计的审稿评分细则如图2所示。


图2 所设计的审稿评分细则

  4.3 探索审稿人激励机制

  以往研究发现,由于审稿工作多为义务性质,且审稿工作对提高审稿人学术认可度的贡献微弱,虽然费时费力却无法与审稿人的科研业绩直接挂钩,造成审稿人对所受理稿件的态度主要取决于其责任心和兴趣,使得审稿人难以保持良好的审稿状态和积极性[23]。这在本研究的相关性分析中主要体现在投稿次数与平均审稿得分的显著正相关性上,说明审稿人在对期刊有投稿需求时,对稿件的评审质量更高。以此为切入点,期刊应从审稿人的需求出发,研究期刊平台可以为审稿人提供哪些助力,加强与审稿人之间的互动和互助,由此探索新型的审稿人激励办法。例如可以将审稿评分年度前10%的审稿人评为优秀审稿专家,并建立如下一项或多项激励机制:(1)颁发奖状并给予一定的奖金鼓励;(2)对其今后一定时间内所投稿件的版面费进行减免;(3)对其所投稿件进行优先受理和快速出版。

  5 结语

  科技期刊审稿人多为专业的研究人员,数量较为庞大且涉及专业相对全面,这为编辑部选择到合适的审稿人提供了良好的平台。在此基础上,编辑部应突破惯性思维的局限性,勇于修正工作中遗留的问题。尝试为职称较低但具备高学历和高学科活跃度的科研人员提供更多的审稿机会,积极发展常用审稿人后备力量,构建优秀作者补充审稿专家库的机制,为审稿专家库注入新鲜血液。同时,要在突破传统培训模式的基础上,加强对审稿人的培训,以个性化的审稿指南对审稿专家进行间接培训,并以学术会议的形式吸引审稿人参加直接培训,解决审稿环节长期存在的效率、质量较低的问题。充分认识审稿评分的重要性,构建并根据发展要求不断完善审稿评价细则,并据此认真完成对审稿人每次审稿行为的评分。加强期刊与审稿人的互动和互助,从为审稿人提供服务的角度出发制定合理的激励机制,让优秀的审稿人感到劳有所获、劳有所值,激发其审稿积极性和责任感。

  同行评议环节由于涉及诸多复杂的主、客观因素,存在的问题较多,对稿件质量的影响较大,还有待在更长时间尺度和更大样本量的基础上,结合各学科领域间的差异,深挖未发现的问题,并结合实践提出切实可行的解决办法。今后笔者将继续搜集、追踪审稿数据,进一步扩大样本量,并实践本文所提出的方案,总结其在实践中的应用效果,并进一步优化提炼,以期为科技期刊优化审稿专家队伍,提高办刊质量和影响力提供一定的参考。

  参考文献

  [1]张音, 韩新月, 王青 . 科研院所主办科技期刊存在的问题及对策[J]. 中国科技期刊研究, 2019,30(4):343-348.

  [2]孟美任, 张晓林 . 中国科技期刊引入开放同行评议机制的思考与建议[J]. 中国科技期刊研究, 2019,30(2):149-155.

  [3]盛怡瑾, 初景利 . 基于FMECA方法的同行评议系统可靠性分析[J]. 中国科技期刊研究, 2018,29(7):676-684.

  [4]操仪 . 科技期刊编辑在稿件外审中的作用[J]. 传播与版权, 2019(1):55-57.

  [5]翁志辉, 林海清, 柯文辉 . 论学术期刊审稿环节的优化[J]. 编辑学报, 2016,28(6):532-535.

  [6]Janke K K, Bzowyckyj A S, Traynor A P . Editors' perspectives on enhancing manuscript quality and editorial decisions through peer review and reviewer development[J]. American journal of pharmaceutical education, 2017,81(4):2-11.

  [7]Bogossian F, McLelland G . Editorial:Peer review deliberations[J]. Women and Birth, 2019,32(4):289-290.

  [8]Vinther S, Rosenberg J . Fate of manuscripts rejected by a non-English-language general medical journal:A retrospective cohort study[J]. BMJ Open, 2011,1(1):e000147.

  [9]Siler K, Lee K, Bero L . Measuring the effectiveness of scientific gatekeeping[J]. Proceedings of the National Academy of Sciences, 2015,112(2):360-365.

  [10]吴锦雅 . 同行评议面临的问题与可行性措施[J]. 编辑学报, 2011,23(3):238-240.

  [11]成方哲, 刘素菊, 张俊华 . 科技期刊同行评议问题分析与对策[J]. 编辑学报, 2015,27(4):373-374.

  [12]陈培颖, 陈倩, 李娜 , 等. 国内学术期刊同行评议现状的调研——基于国内自动化领域作者群和评审专家群[J]. 中国科技期刊研究, 2016,27(1):3-9.

  [13]李鹏, 魏杰, 闫娟 . 医学科技期刊几种同行评议模式的利弊分析[J]. 出版与印刷, 2012(4):9-12.

  [14]Yang N, Ji D G, Li S J . The application of Pearson correctional analysis method in air quality analysis of Beijing-Tianjin-Hebei region[J]. Agricultural Science & Technology, 2015,16(3):590-592.

  [15]Wang Z S, Lv J, Tan Y F ,et al. Temporospatial variations and Spearman correlation analysis of ozone concentrations to nitrogen dioxide,sulfur dioxide,particulate matters and carbon monoxide in ambient air,China[J]. Atmospheric Pollution Research, 2019,10(4):1203-1210.

  [16]杨海挺, 石敏, 芮海田 , 等. 学术期刊审稿人制度存在的问题和解决对策[J]. 科技与出版, 2018(11):136-140.

  [17]谈黎红 . 改进专家审稿方式提升刊物学术质量[J]. 编辑学报, 2014,26(6):567-569.

  [18]刘潇 . 如何让专家欣然、高效、准确地审稿[J]. 中国科技期刊研究, 2013,24(4):795-797.

  [19]胡晓梅 . 科技期刊审稿专家拒审、拖延审稿原因分析及应对办法[J]. 编辑学报, 2019,31(2):187-190.

  [20]陈素清, 吴萍 . 网络时代高校学报稿件外审专家的选择[J]. 沈阳师范大学学报(社会科学版), 2016,40(1):139-141.

  [21]刘东信 . 综合性科技学术期刊审稿人的选择和外审经验谈[J]. 编辑学报, 2010,22(6):521-522.

  [22]包雅琳, 游苏宁 . 在线培训审稿专家提高审稿质量[J]. 编辑学报, 2009,21(2):139-140.

  [23]代小秋 . 客观评价审稿贡献消除同行评议瓶颈[J]. 编辑学报, 2017,29(5):416-419.

国家广播电视总局 | 湖北省人民政府 | 中国邮政集团公司 | 武汉市人民政府 | 中国期刊协会 | 中国图书进出口(集团)总公司 | 中国邮政集团公司报刊发行局 | 湖北省广播电视局 | 湖北日报传媒集团 | 长江广电传媒集团 | 长江日报报业集团 | 知音传媒集团 | | 湖北中图长江文化传媒有限公司 | 决策信息网 | 湖北新闻出版广电传媒周

copyright(c) 2013 湖北省新闻出版局 版权所有 技术支持

鄂ICP备19004605号-4  鄂公网安备 42010602004016号