作 者:
陈培颖 《自动化学报》、International Journal of Automation and Computing期刊联合办公室, 中国科学院自动化研究所,北京中关村东路95号 100190
陈 倩 《电子与信息学报》编辑部,中国科学院电子学研究所,北京市海淀区北四环西路19号 100190
李 娜 《微系统与纳米工程(英文)》编辑部,中国科学院电子学研究所,北京市海淀区北四环西路19号 100190
李树军 《液晶与显示》编辑部,中国科学院长春光学精密机械与物理研究所,吉林长春东南湖大路3888号 130033
卢 炎 Journal of Systems Science and Complexity编辑部,中国科学院数学与系统科学研究院,北京市海淀区中关村东路55号 100190
张 莹 《中国光学》编辑部,中国科学院长春光学精密机械与物理研究所,吉林长春东南湖大路3888号 130033
杨 锐 清华大学出版社期刊中心,北京市海淀区双清路学研大厦B座B605D室 100084
贾守新 《雷达学报》编辑部,中国科学院电子学研究所,北京市海淀区北四环西路19号 100190
常 唯 Light: Science & Applications编辑部,中国科学院长春光学精密机械与物理研究所,吉林长春东南湖大路3888号 130033
摘 要:
【目的】针对国内自动化领域科技期刊同行评议现状,展开调研与分析,并就发现的问题提出解决对策。【方法】 以我国自动化领域作者群和评审专家群为调研对象,分别设计并发送了针对作者和评审专家的调研问卷。【结果】 通过统计和分析调研结果,总结了论文作者和评审专家普遍关注的问题和产生问题的原因。【结论】从国内学术期刊出版单位角度出发,探讨了改善目前国内期刊同行评议现状的建议和措施。
关键词:
同行评议 论文作者 评审专家 问卷调研
同行评议机制是学术期刊显著特征之一,对于控制期刊的学术质量、规范学者的学术行为具有重要意义。具体而言,参与同行评议的主体之一,评审专家通过同行评议“过滤器”的作用,将不相关、微弱、误导甚至潜在的有害的内容去除,以提高论文内涵的清晰度、透明度、精确度及其实用性。然而,目前的同行评议机制也暴露出一些问题,比如在评审过程中,评议者的主观因素可能影响评审结果,再比如评审者对被评审对象所涉及的知识内容的熟悉程度不同,而导致的评审结果与实际情况之间存在误差。另外,一些评议者由于利益冲突或竞争关系,可能给出不公平的评价结论,或故意拖延评审时间,导致创新性的科研成果不能及时发表,影响科研人员创新思想的首发权等。
尽管如此,同行评议所涉及到的两个主要主体:作者和评议者,都在很大程度上认可同行评议的存在及其积极作用,他们更多的是呼吁改进同行评议,而不是取代它。在2009年,Sense About Science联合Elsevier公司完成了面向40000名科研人员的问卷调查,结果表明,只有15%的被调查者认为正式的同行评议应该被使用统计所取代。大多数被调查者对同行评议及其带来的积极效果(控制质量、改善文章质量)持肯定态度。
文献[3-24]对于目前国内外科技期刊同行评议的现状也从不同角度做了各种探讨。但现有文献缺乏对国内外同行评议整体概况的调研和描述。为了解国内科技期刊同行评议的现状,准确把握作者、审稿人和期刊编辑对于同行评议的认识差异,深入探寻存在的问题,中国科学院自然科学期刊编辑研究会“同行评议可检验规范最佳实践指南研究”课题组通过问卷调查、文献分析、专家访谈等形式对国内外科技期刊同行评议现状进行了详细的考察和分析,提供了有利于改善我国科技期刊同行评议的可借鉴规范和指南。
本文重点介绍课题组对国内同行评议情况调研的部分结果,并分析问题产生原因,探讨改善国内学术期刊同行评议现状的建议和措施。关于国际科技期刊同行评议情况调研和科技期刊同行评议可检验规范最佳实践研究成果可参考课题成员组发表的其他相关文献。
1 调研对象和方法
为了准确、全面地了解学术期刊作者和评审专家对目前同行评议的看法和态度,课题组分别设计了面向作者和评审专家的调研问卷。问卷中涉及了调研对象的年龄、专业等个体信息以及作者和评审专家在面对同行评议时普遍关注的问题,包括对评审方式、评审结果、评审质量的认同度和满意度,以及国内外期刊同行评议的对比等。
由于学术期刊的学科分布差异较大,为了使分析结果具有一定代表性,本文以自动化领域为例,调研了该领域作者和评审专家对目前学术期刊同行评议的看法和态度。以(自动化学报)作者库和评审专家库为基础,分别向5056位作者和4201位评审专家发送了针对作者和针对评审专家的调研问卷,实际回收有效问卷分别为462份(作者)和526份(评审专家),回收率为9.14%和12.52%。
2 调研结果与分析
2.1 作者反映出的国内期刊同行评议普遍存在的问题
针对作者的调研问卷中,课题组设计了对目前同行评议现状的公平性和整体满意度的问题,调研结果如图1所示(0-9:0代表完全不公平(不满意),9代表完全公平(满意)),对同行评议公平性的平均分是6.56分,对同行评议整体满意度的平均分是6.59分。

图1 作者对同行评议的公平性和满意度的评价
Q1:评审周期太长;
Q2:评审过程不透明(不能确定评审专家是否有利益冲突或其他不适合评审的原因);
Q3:评审结果不具体、对改善稿件质量帮助不大;
Q4:评审结果不客观,没有准确反映稿件质量存在的问题;
Q5:审稿人故意推延评审时间;
Q5:审稿人剽窃作者的观点和研究成果。
针对以上同行评议中6个方面问题,被调研作者给出了国内外期刊的对比情况,如图2所示。从图:中可看出,作者认为国内外期刊同行评议过程中最突出问题均是审稿周期太长。而对于Q2-Q6这五个问题,作者认为相比国内期刊,国外期刊较少出现此类问题。为了进一步挖掘产生问题的原因,我们对作者群进行了以下深入调研。

图2 作者对目前国内外期刊同行评议中存在问题评价
为了找到原因,课题组调研了作者群和评审专家群的学历和年龄分布。从学历分布上看,作者中本科占:2.6%、硕士占18.18%、博士占79.22%;评审专家中本科占3.8%、硕士占5.51%、博士占90.68%。无论是作者群还是评审专家群,正在攻读博士学位或已具有博士学位的人员占的比例最高。从年龄上看,评审专家平均年龄高于作者年龄,主要集中在30-39岁以及40-49岁这两个年龄段,以中青年为主(如图3所示),这个阶段正是研究人员学术生涯的成熟期,也是较繁忙的时期,容易拖延稿件评审周期,主要表现为以下三个方面:

图3 作者和评审专家的年龄分布
b) 被约请专家拒审或拖延不回复是否同意审理。针对评审专家群的问卷调研结果中显示76.43%的评审专家有过拒审经历,且拒审率在1%2-10%之间的占50.63%。有过拒绝经历的评审专家中有45.39%的专家认为“太忙”是一个重要的原因(如表1所示)。遇到评审专家拒审或拖延不回复时,编辑部需要重新邀请审稿人,从而延长了评审周期中的送审流程。
表1 国内评审专家拒绝审理稿件的原因 | ||
序号 | 拒审原因 | 调研结果(%) |
1 | 稿件内容与自己的研究领域不符 | 91.27 |
2 | 太忙 | 45.39 |
3 | 期刊不在我愿意评审的范围之内 | 31.92 |
4 | 论文质量太差 | 23.44 |
5 | 审稿时间太短,不能充分形成审稿意见 | 19.20 |
6 | 个人原因(休假、生病等) | 14.96 |
7 | 语言表达太差 | 7.48 |
8 | 利益冲突 | 6.73 |
9 | 没有审稿费或审稿费太低 | 2.24 |
10 | 其他(如退休或不愿意评审英文稿件) | 2.24 |
c) 期刊出版单位缺乏催审(提醒)机制或催审不及。有专家反映因为没有收到稿件审理的提醒通知,而忘记审理稿件。尤其是在稿件评审周期过期后,如果系统或编辑不再通过邮件或电话提醒评审专家时,稿件就有可能石沉大海。
(2)关于Q2审稿过程不透明这一问题,被调研作者认为人情干扰(占35.28%)比利益冲突的影响(占22.29%)稍大些。目前,采用双盲评审是国内学术期刊常用的一种避免人情干扰的方法。在调研中,82.03%的作者支持双盲评审方式,8.01%作者支持单盲审评审方式,7.36%作者支持公开评审方式,而支持出版后评审方式的作者仅占2.6%。这说明,多数作者还是欢迎双盲评审方式的。然而在本项目课题组针对国内学术期刊编辑部的调研报告中则显示:采用双盲评审方式的国内学术期刊只占49.27%(单盲方式占46.65%,其余方式占4.08%)。
笔者认为,无论是哪种评审方式,同行评议的公平性和公正性问题都应引起编辑关注。中国科学院成都山地灾害与环境研究所研究员邱敦莲针对2015年BMC(Biomed Central)由于“同行评议”造假而撤稿的事件,在科学网博客发文历数了6种同行评审造假方式,其中提到了作者诚信度(如作者推荐专家信息的真伪性)、编辑诚信度等问题,给送审工作带来了一些借鉴。
(3)关于Q3-Q4提及的评审结果不具体、不客观,57.58%的被调研作者认为评审专家与被审稿件的专业契合度不够是主要原因。编委或编辑在邀请审稿人时,由于对评审专家研究领域了解不透彻,导致了被邀请的评议专家并不一定是该篇论文小领域的研究同行,进而导致同行评议结果可能是内容泛泛的,缺乏对稿件更有针对性的意见和建议。对评审专家的调研结果也显示了类似的问题:即有过拒审经历的评审专家中91.27%的专家是因为稿件内容与自己的研究领域不符而拒绝审理。因此,期刊出版单位需要寻找策略来改进编委(编辑)邀请评审专家的方法,以提高专业契合度。
此外,68.61%的被调研作者还认为同行评议是评议者的主观行为,评议者的个人喜好等多种因素会影响评议结果。期刊出版单位缺乏对同行评议结果进行检验的工具和机制(占39.39%),比如评价指标不具体、不易量化(占36.8%),且评价尺度不明确(占35.5%)。
为了深入了解同行评议的效果,课题组对论文作者进行了进一步的调研,并对比了国外期刊的情况。结果显示,87.66%的作者认为目前的同行评议结果对论文的改进有帮助,12.34%的作者认为没有帮助。其中,作者认为国内期刊同行评议的结果对论文的“结果与讨论部分”的改进贡献是最大的(占61.98%),其次是“方法部分”(占45.43%)和“语言表达”(占37.53%),如图4所示。相比国内情况,作者认为国外期刊的同行评议结果对论文的“结果与讨论部分”(占(67.41%)和“语言表达”(占67.41%)贡献最大,其次是“方法部分”(占65.68%)和“图表等数据呈现”(占37.78%)。通过国内外期刊的同行评议结果对比,可看出存在较大不同的是:国外期刊比国内期刊更注重语言表达、方法部分和引言的问题。多数被调研人群反映,在评审意见上,国外期刊的评审意见详实、细致,而国内期刊的评审意见多简短,缺少实质性的建议。

图4 国内外期刊同行评议效果的对比
2.2 评审专家的审稿意愿和评审重点
针对评审专家,当被问及是否愿意为所有期刊审稿时77.95%的评审专家视期刊而定,只有19.96%愿意为所有期刊审稿。当被问及愿意为期刊审稿的理由时,选择最多的三个理由是(如表2所示):(1)将被邀请审稿看作是对个人学术成就的认可和肯定(占69.2%);(2)增加了与同行交流的机会(占68.25%);(3)可以使自己成为学术团体中的一员(占42.02%)。表2的统计结果带给了我们一个启示:在同行评议过程中,期刊出版单位是否可以通过改进和提升服务来吸引评审专家愿意为期刊审稿。
表2 国内评审专家愿意为期刊审稿的理由 | ||
序号 | 为期刊审稿的原因 | 调研结果(%) |
1 | 将被邀请审稿看作是对个人学术成就的认可和肯定 | 69.20 |
2 | 增加了与同行交流的机会 | 68.25 |
3 | 可以使自己成为学术团体中的一员 | 42.02 |
4 | 享受帮助作者改善论文的快乐 | 40.68 |
5 | 愿意在出版前预先看到科研成果 | 34.03 |
6 | 履行作为期刊编委的义务 | 29.09 |
7 | 有利于增加个人的职业/事业声望 | 23.00 |
8 | 可以获得个人承认 | 14.45 |
9 | 可以与编辑部建立良好的关系,有助于自己论文的发表 | 9.30 |
10 | 其他:如认为审稿是研究者贡献与义务之一;'审稿有利于跟进研究成果等 | 4.75 |
表2 国内评审专家愿意为期刊审稿的理由 | ||
序号 | 题目选项 | 关注度平均分 |
1 | 研究问题是否为热点问题 | 6.45 |
2 | 创新性(是否有新思想、新方法、新结果 | 8.6 |
3 | 先进性(学术或技术水平在国际、国内相同 领域的地位)、研究内容的重要性 | 8.11 |
4 | 科学性(立论科学,论据充分,数据可靠) | 8.29 |
5 | 应用性(应用价值及产业化意义) | 6.55 |
6 | 讨论是否充分、结论是否合理 | 7.77 |
7 | 参考文献的引用是否合适 | 6.86 |
8 | 是否存在学术不端行为 | 8.18 |
9 | 作者单位是否为该领域前沿机构 | 3.91 |
10 | 可读性(语言流畅,层次分明,文字简练等) | 7.19 |
11 | 其它(如准备论文的态度,国内外相关研究对比,对同行学者的启发和帮助,试验结果是否可靠,语言表达等) | 4.4 |
参与调研的79.66%的专家为国外期刊评审过稿件,他们认为国内外期刊在评审过程中的差异主要表现为以下三点:
(1)评审标准
多数评审专家认为在为国内期刊和国外期刊做稿件评审工作时,采用的标准是一致的。但为国外期刊评审时,利益冲突较少,评审过程中不必考虑个人因素。而为国内期刊审稿时,有时必须考虑人际关系因素。尽管双盲评审方式避免了一些人情稿,但由于研究领域限定,有些情况下也能猜出稿件的来源。
在评审内容上,国外期刊对论文的原创性要求更为严格,注重创新,特别是实际应用的创新,对实验及实验结果分析的要求也更高一些。国内很多高水平期刊则偏重理论创新,对理论分析的要求更高一些,对研究背景和研究现状调研的要求相对较低,对实验完备性和实验对比的要求较低。
(2)评审流程
国外期刊多采用编委邀请审稿人的方式送审,稿件与评审专家专业契合度较高;而较多国内期刊由编辑部送审,出现稿件与评审专家研究领域不符的情况较多。国外期刊对稿件的审理更细致,可以经过几审后再确定录用还是拒稿,并给与作者多次修改的机会;而国内期刊的审稿流程较为简单,有的期刊不用评审专家复审就对论文作出最终决定。在稿件评审结束后,为国外期刊审稿的评审专家大多能够收到稿件最终审理决定和其他评审专家的意见。此外,多数国外期刊邀请的评审专家数较多,比如3-5人。
(3)评审周期国外期刊对评审周期控制较为严格,一般在1个月内,且催审次数较多。而部分国内期刊对评审周期的要求较松,且有些期刊审稿平台缺乏对审稿人及时提醒的功能。
3 讨论
以上对作者和评审专家的问卷调研结果,一定程度反映了国内学术期刊同行评议的现状和问题。期刊出版单位作为维系同行评议制度的桥梁,应充分重视这些问题。这里,从期刊出版单位角度出发,探讨以下对策来改善国内学术期刊的同行评议过程:
(1)建立有效的评审专家筛选方式,提高稿件和评审专家的专业契合度
表1中显示了91.27%的评审专家认为稿件内容与自己的研究领域不符是最主要的拒审原因。因此,有必要提升编辑筛选评审专家的能力。目前,有些期刊的做法是,将负责邀请评审专家的编委(编辑)团队按照小学科分工,以缩小评审专家筛选难度和范围。或定期对因专业不符的拒审情况统计汇总,帮助送审编辑提高送审准确度。此外,还可采用人工筛选结合软件筛选(比如ScholarOne评审系统所提供的Review Locator功能)的方式,完成评审专家的约请,以减少人为误选概率。
(2)建立有效的沟通机制,提供更多的有利于同行交流的服务措施
针对国内作者和评审专家提出的评审周期过长的问题,编辑部应该建立有效的催审机制,比如利用在线评审平台,在评审周期到期之前及之后分阶段地向评审专家发送邮件、短信、或微信等提醒,对于没有按期审回的稿件,应尽快通知上一级编委(编辑)加送评审专家,以免延误审稿。此外,建立有效的评审周期绩效制度,以分别督促同行评议过程中每一环节(如送审、评审、终审等环节)的工作效率。
在稿件评审结束时,及时向每位评审专家发送最终评审结果和其他评审专家的评审意见,增加同研究领域专家学术交流的机会。特别是针对评审专家意见有冲突的稿件,上一级编委(编辑)要给与详细的终审说明,说明为什么倾向于其中几名评审专家的意见,而摒弃了其他评审专家的意见,让审稿专家感受到所做的工作被重视,激励评审专家继续认真、严谨地为期刊审稿。
(3)尊重评审专家的辛勤劳动,减轻评审专家的工作量
在一项3008位研究人员参与的同行评议调研中,29%专家认为目前的同行评议的工作量超额,由于投稿量不断上升,同时由于评审专家忙于科研,导致评审专家拒绝为期刊审理稿件的情况越来越多。在这种情况下,如何吸引评审专家为期刊完成审稿任务呢?笔者认为,首先要提升编委(编辑)在稿件初审时的处理效率,通过学术不端检测、论文结果初评、甚至论文内容创新度等初评,对稿件进行分类,质量不高的稿件直接退稿或退修,以减少送审稿件数量。比如(柳叶刀)的编辑在初审稿件时拒稿率达到80%,只有20%的稿件送至评审专家手中,大大减轻了评审专家的工作量。其次,建议退稿重投的作者将上一次的评审意见和修改说明一并提交,供评审专家参考,节约评审时间。
此外,诸如颁发聘任证书、评选优秀审稿人等奖励政策也有助于提高评审专家工作的积极性。
(4)尊重作者的申诉和反馈
从调研结果看,尽管编辑部在尽量避免利益冲突等问题,但目前国内期刊同行评议中还是不免出现人情干扰、审稿为他人替代(如表1)等现象,这种情况可能会导致审稿意见偏颇、不细致、理由不充分等问题。遇到这种评审结果,有些作者会直接向编辑部申诉。对于这样的申诉和反馈,编辑部要给与足够的重视,建立处理申诉稿件的流程,增加作者、编委、评审专家之间(有时需要匿名)对稿件态度的有效沟通,提升同行评议的公平性。
(5)帮助评审专家提高评审质量
期刊出版单位制定详细的评审细则以规范同行评议标准和尺度,并增加对评审专家的培训,如开设有关评审标准、评审意见范例、利益冲突的处理方式等培训,以提高评审专家的评审质量。
(6)开发检验同行评议结果的工具和机制
问卷调研中,39.39%的作者认为缺乏对同行评议结果进行检验的工具和机制。比如,文献[27]曾提出了一种基于社会团体的评议材料的评估方法(Community-based Assessment of Review Materials,CARMA),即当文章出版后,将文章的初稿、修改稿、同行评议的意见,以及作者对意见的回复、修改说明全部放在网上公布,让公众来打分评定。如何建立一套有效的对同行评议结果进行检验的工具和机制也是一个亟待讨论和解决的问题。
7)结语
同行评议对于控制期刊的学术质量、规范学者的学术行为具有重要意义。但由于目前国内学术期刊的同行评议缺乏详实规范的工作准则和制度性建议,还存在若干问题亟待改善。本文作者配合课题组通过问卷调研方式总结目前了国内控制领域科技期刊同行评议的现状,包括同行评议制度的有效性、同行评议制度存在的主要问题等,并针对调研结果分析了改进措施。调研结果具有代表性,与课题组针对其他研究领域的科技期刊调研结果相似,期望给国内学术期刊工作者了解国内同行评议现状提供参考。