【作 者】蒋霞:上海交通大学学报编辑部
【摘 要】基于发生在权威期刊的几桩典型学术丑闻,探讨同行评审如何系统性地应对学术论文不端行为。回顾性提炼丑闻事件的重要节点,从速度、数量、质量和评价标准4个维度来综合分析同行评审存在的关键问题;提出应在战略和技术层面上重新构建学术出版中的同行评审体系:明确同行评审中的各方责任,利用网络信息技术收集并开放数据。一个明确、健全和开放的同行评审体系有助于系统性地防范学术不端,提高同行评审质量。
【关键词】同行评审;学术不端;应对策略;顶级期刊
随着科学技术的发展和学术期刊的繁荣,学术界不少知名学者、专家深陷学术论文争议门,造假事件层出不穷,甚至多次涉及《Science 》《Nature》等著名期刊,如美国贝尔实验室的舍恩、韩国首尔大学的黄禹锡、日本理化学研究所的小保方晴子以及美国哈佛大学的Piero Anversa等[1]。每当有类似丑闻发生,学术期刊和相关研究人员都会进行一系列发问:学术造假为什么一再发生?权威期刊为什么屡屡上当?学术出版应该如何应对?最重要的问题不是顶级学术期刊为什么没有辨识学术欺诈,而是为什么它们不能系统性地防范学术欺诈论文的发表。
这些事件的发生与学术论文的审稿流程不无关联,特别是流程中的关键环节——同行评审,它作为学术体系的自控手段和学术交流的判断标准,有着不可推卸的责任。近年来,关于学术论文不端行为的研究[5-9]越来越多,或侧重于预防,或关注事后问责。分析角度也各有不同,例如,有的研究从传播学角度出发[6],有的研究从科学的自我纠错和自律性出发[6],有的研究从期刊处理流程出发[7-8],有的研究从分析同行评审造假的类型和手段出发[9],希望通过作者的自我约束、编辑或审稿专家增强警惕和改进防范手段,来阻止这类问题的发生。这些研究多为点对点的思考,通过单个事件对个别问题进行分析,即使从学术期刊角度出发,也往往过于信任或依赖现有的同行评审制度,对同行评审在学术丑闻中暴露出的关键问题及应对策略涉及较少。
本文基于近20年来的几桩典型学术丑闻,主要针对同行评审不能系统性防范学术不端论文的原因,通过分析这类事件的重要节点,探讨它们折射出的关键矛盾,并分别从战略和技术层面提出相应策略,希望有助于同行评审系统性地应对造假论文,提高学术出版的质量和可信度。
1 典型学术丑闻的发生过程和重要节点
我们按照发生年代大致回顾一下这些典型的学术丑闻,并提炼出事件的重要节点。
舍恩事件[1];1998年,德国科学家舍恩(Jan Hendrik Schon)进入美国贝尔实验室工作,此后三四年内,他在《Science》《Nature》等全球著名学术刊物上发表了近百篇论文。舍恩提出的“分子晶体管”在包括权威期刊编辑在内的许多同行专家审评过程得以蒙混过关,直到普林斯顿大学的Lydia Sohn发现他在毫不相干的论文中使用完全相同的图表。这起学术造假事件成为了物理学史上最大的丑闻之一。
黄禹锡事件[1-2]:2004-2005年,时任韩国首尔大学首席教授的黄禹锡在《Science》上发表多篇干细胞研究论文,2005年底,他的研究小组成员指出他当年发表的干细胞研究成果有造假成分,随后丑闻逐步被揭露,在学术界引起震动。
小保方晴子事件[3];2014年1月,日本理化学研究所细胞再造实验室的小保方晴子在《Nature》发表了关于简便培养多能干细胞(STAP)方法的论文,2月初即有匿名用户在pubpeer网站上质疑论文中电泳结果,由此引发多方质疑和关注。同年调查报告宣布其论文存在捏造和篡改,造假行为轰动一时。
Anversa事件[4]:2018年10月,美国哈佛大学心脏病学家Piero Anversa对心肌干细胞研究的31篇论文因被认为包含“篡改的和(或)伪造的数据”而被建议撤销,发表期刊包括《Nature 》《Cell》《Circulation》等,文章最早发表于2002年。随着越来越多的研究小组无法重复其实验结果,Anversa接受不当行为调查,越来越多的论文被建议撤稿。此后,Anversa以损害其职业前景为由起诉哈佛大学及其附属Brigham和妇女医院,以及对其论文结果表示质疑的博客“撤稿观察(Retraction Watch)”。
总体而言,这几件学术欺诈行为的发展脉络基本为:期刊同行评审—公开发表—论文被同行质疑—大规模关注和调查—发现造假—期刊撤稿。其中,最为重要的转折点在于论文通过传统同行评审后被更广泛的同行质疑,不端行为得以被调查和发现。
2 学术造假事件折射出的同行评审问题
以上列举的只是比较广为人知的学术造假事件,它们涉及那些非常成功的科学家,涉及顶级的研究机构,涉及最权威的期刊,因此,我们很难判断,这些问题是否只代表了一些不为人知的学术“烂苹果”?发表的学术论文中是否还隐藏着更多不为人知的不端行为?这些事件折射出学术期刊对论文发表的裁判系统,特别在关键环节——同行评审阶段,即使是顶级期刊,也不能系统地防范学术造假或欺诈,反映了同行评审在学术出版的快速发展中存在巫须解决的问题。
同行评审在20世纪中期开始得到广泛和规范的应用,发展至今,它已成为学术质量控制的重要手段,是学术出版的核心和中流砥柱,被认为是筛选论文的有力工具和确保论文准确的核心流程[10-11];但相比同行评审的发展,学术出版发展速度更快,涉及范围更广。以Elsevier公司的Scopus数据库[12]为例,作为全球最大的文摘和引文数据库,它收录有5000多家出版商的2万多种同行评审期刊,包含超过350万篇会议论文,学科涵盖27个领域。两者发展的不同步使得同行评审和学术出版之间表现出以下几个方面的矛盾。
2.1 同行评审速度和学术出版速度要求之间的矛盾
同行评审过程中,评审速度根据论文的内容和评审者专业领域有很大不同,有数据[13]显示,审阅一篇论文平均大约需要6h,但也有评审者最长会花数十甚至100多h来评审某篇论文。生物医学期刊调查研究[14]发现,参与同行评审的科学家们在2015年估计有近6340万h用于学术期刊初稿的同行评审,其中评审数量最多的科学家,以总人数的5%承担了1890万h的评审工作。
论文发表流程一般为“编辑部审稿—同行评审—主编终审—编辑发表”,其中同行专家评审是期刊编辑部在速度上最难控制的环节,也是论文发表速度能否得到提高的关键点。如果作者论文需要大修或者重投,会再次进入同行评审,那么发表时间就会更加延长。随着科学技术的快速发展,尤其是计算机信息学、纳米材料或基因学等新兴领域,知识更新周期短,技术进展速度快,因此对快速发表的要求就更高。在这种情况下,同行评审在保证质量的同时还要满足出版速度的矛盾就会凸显。
2.2 同行评审数量和学术出版审稿人数之间的矛盾
与需要进行评审的大量稿件相比,学术出版所能得到的有能力进行同行评审的专家人数极为有限。例如,2006年大约有134. 6万篇论文在2万3750种期刊上发表[15],而根据出版研究学会(PRC)关于同行评审的一项调查结果[16]显示,提交给科技期刊的论文的平均接受率约为50%,因此每年需要进行同行评审的稿件数量要多于134万篇,现有的有能力的同行评审者很难全部审阅。虽然理论上审稿人数量非常可观,但实际上最具声望和学术水平并可以进行同行评审的“现役”科学精英,往往需要主持相当多的大规模科研项目,需要管理庞大的科研队伍,真正用于同行评审的时间非常有限。因此,有时间、精力和热情付出在同行评审上的专家就多为期刊编委会成员、转为职业编辑的“退役”科学家,或由被邀请专家的青年助手代为评审,所以庞大审稿人队伍中的小部分研究者承担了大部分同行评审工作,评审意见质量也很难稳定和保持高水平。2015年的调查[14]显示,以生命科学领域为例,20%研究者承担了69% -94%的评审工作。来自《英国医学杂志》( BMJ )的Godlee等在一篇几乎可以发表的论文中故意插入8个错误后发送给420位有能力进行评审的专家[17],最终只有221名(53%)参与评审,而且平均每位审稿人发现错误2个,其中35位审稿人没有发现任何错误。由此可见,当数以千万计的文章希望出版时,要保证每篇发表论文都得到高质量的同行评审就要解决审稿量和审稿人数量的矛盾。
2.3 同行评审质量和学术出版质量要求之间的矛盾
同行评审被认为是学术论文筛选的重要过滤器,通过同行专家的审阅,期刊确保只有高质量的科学研究成果得以发表,特别对于声誉良好的学术期刊,这一环节的质量保证了它们的学术性和权威性。一般同行评审由具有专业知识的科学家来进行,学术期刊通过多种手段来保证同行评审的质量。期刊编辑部会通过建立巨大的同行评审专家数据库来保证有足够的审稿人,通过单盲、双盲或公开评审等方式来鼓励审稿人尽可能给出真实及时的意见,并通过各类检测系统来预防抄袭现象,等等。
但是,即使同行评审速度和数量等问题得到一定程度的缓解,由于同行评审本身就存在主观性评价,所以有些弊端还是难以避免[18]。如单盲或双盲等传统评审方式常常因封闭、缺乏透明和公正等问题而被质疑;在开放型评审过程中,论文作者和审阅者都知道彼此身份,虽然一方面有助于作者得到公开透明的评审意见,但另一方面公开本身很有可能会妨碍审稿人诚实地表达自己的意见。从著名丑闻事件中,我们看到,对于具权威性的论文作者,或作者所在机构影响力大,论文造假行为往往需要更长的时间和更大的勇气才能被揭露。为了减少冲突,在公开评审中,审稿人可能会隐瞒或尽可能减少批评意见,最终期刊编辑得到的是一份内容平淡的意见,参考价值有限。甚至,由于发表论文在现代科研工作中的重要性,公开评审可能会迫使同行评审专家考虑论文作者将来有可能审理自己的稿件或项目申请,或作者因拒稿而被损害职业前景等因素,对接受评审任务感到犹豫不决,因而不仅会影响同行评审的质量,而且会减少愿意参加评审的同行专家人数。
2.4 同行评审创新性与学术出版科学性之间的矛盾
同行评审与学术出版之间的关键问题还包括论文评价标准的矛盾——科学性与创新性的矛盾。学术出版的主要目的在于向读者介绍科学的、重要的具有创新性或创造性的工作;同行评审作为其关键过程,旨在通过确定论文的科学性和创新性为学术出版筛选稿件,同时指出错误之处和提供改进建议以提高论文质量。但是,科学探索本身就是一个试错过程,不能重复的研究结果,是否就一定是学术造假或不端?如何区分科技创新的试错与失败和科研造假与学术不端,这是同行评审的难点。舍恩和Anversa等事件说明,即使有科学家对某些研究成果深表怀疑,但识别“学术不端”并非易事。最终,人们可以将这些事件定义为“学术丑闻”,在于调查委员会经过严格的审查和核定,找到了具体造假的数据,才判定“学术不端”。因此,如果没有关于研究方法和研究结果的原始记录,即如果无法获得作者的第一手资料,不知道作者的原始结果(不仅仅是作者在论文中的展示部分),同行评审者可能能够发现论文存在问题或缺陷,但无法准确地判断论文是否存在数据篡改或编造。
另一方面,有不少重要的科学发现因其独创性反而被质疑,导致论文未能通过同行评审和得到发表。过于强调学术出版的科学性反而会抑制创新[19],例如,Zwieg宣布发现夸克,但这篇前瞻性极强的论文被《Physical Review Letters》拒稿;《Science》《Nature》曾经驳回那些极具创新性的论文,如Berson和Yalow的放射免疫研究以及Krebs的柠檬酸循环研究,而这些成果后来为研究者赢得了诺贝尔奖。
3 同行评审关键问题的应对策略
这些学术丑闻事件折射出同行评审现阶段存在的关键问题,有鉴于此,从不同角度去系统性地构建学术出版中高质高效的同行评审策略和流程不仅必要,而且迫切。我们需要全局性地构建一个责任明确、管理健全、数据开放的同行评审体系:明确同行评审结果的责任应当由论文作者、期刊出版者和同行评审者来共同承担,这是前提;完善同行评审方法和手段,利用网络信息技术和数据开放共享等来互为验证论文结果正确性和评审意见说服力,这是核心。下文将从战略和技术2个层面分别思考关键问题的应对策略。
3.1 战略层面
绝大多数学术造假事件发生后,期刊一般多倾向于标准格式的撤稿声明或对最严重错误的更正来挽回颜面,同行评审者的责任也很少有提及,很少有公开信息说明整个同行评审过程。虽然科学探索具有一定的纠错功能,但不能只靠科学界和科学家本身的自律,还必须要有完善的体系制度作保障。为了保证质量,需要构建规范健全的同行评审体系,应有同行评审负责制。无论在学术界,还是在出版界,同行评审过程的参与者都应承担相应责任,接受监管,才能系统性地预防和处理学术不端,确保公众得到的是诚实的高质量的研究结果。
现有体系中,学术期刊对同行评审过程拥有较大控制权,对评审结果拥有最终裁判权。因此,在舍恩事件爆发后,虽然《Science》时任主编Donald Kennedy[20]和《Nature》物理学科的责任编辑Karl Ziemelis[21]否认期刊在论文评审上存在缺陷,否认杂志的责任,但声讨之声[22]仍然不绝于耳。诺贝尔物理学奖得主Anderson评论这2家出版巨头,“他们自己决定了什么是好的科学——或者说是好卖的科学”。他认为,作为商业出版,杂志的市场意识“鼓励人们印刷”热门研究结果,即使可能是劣质品;而出版的紧迫性很可能会导致草率的评审行为。
对于持续接受同一作者的多篇造假论文这种事件来说,以上指责并非毫无道理。作为顶级期刊,它们在期刊主流评价系统中有着极高的影响因子,而影响因子建立在被引用次数统计上,影响因子高,意味着被引更多更频繁,也就是传播得更广,相信其权威性的科研人员更多。在这样的期刊上,一旦数据造假的研究成果被正式发表甚至被推荐为热点时,它对科学造成的负面效应就更大。反而言之,如果学术期刊所发论文没有稳定坚实的可信度,建立在影响因子上的期刊评价体系就会失去作用。因此,学术期刊对自己发表论文的可靠性有直接负责的必要性,影响力越大,责任也越大,不仅要通过规范同行评审来杜绝造假论文的发表,而且在发现论文有争议时应及时公开同行评审过程和评审意见,提醒读者在进行引用或应用时保持警惕。造假论文的发表和处理应被纳人期刊的评价体系,期刊必须对本刊发生的学术丑闻负责。
同行评审者的责任也需要纳入考虑范围。虽然开放型同行评审存在很多不完善之处,但对于已被接受的论文,应当至少公开那些支持论文发表的同行评审者身份和意见;对所有论文作者,应当允许他们对其论文所得到的评审意见进行评价。这种做法一方面肯定了评审者的工作价值,鼓励他们对接受意见进行更深思熟虑的思考,对修改意见提出更有建设性的想法,另一方面也明确了同行评审者的责任,有利于将来把同行评审工作纳人学术界对科学家工作的评价或评级体系。同时,公开评价依据和允许作者对评审者的反向评价有利于分辨那些创新性或前瞻性较强的学术论文。
3.2 技术层面
传统出版要求读者信任论文作者以及发表论文的学术期刊,而学术丑闻的不断发生使读者对作者的信任正在瓦解。为了重建这种信任,确保研究者得到科学领域的真实信息,可以通过各种开放性手段来提高同行评审的质量和速度。
现有的同行评审形式以发表前评审为主,由于On-line First等优先出版形式的出现,很多论文先在网上发表,使得出版后再评审成为可能。通过优化网络出版平台,可以鼓励同行对已发布在网络上的论文进行在线评论或动态评论,有助于快速及时发现错误或欺诈行为,也有利于对学术不端者形成震慑以预防抄袭或造假。公开并及时回应质疑,那么这些形式将对发表前的同行评审形成有效的补充,也可以增加同行评审的参与人数和透明度。
同时,互联网和数据技术的进步创造了新的信任模式:在足够的资料支持下,同行评审者更容易判断研究的真实性和完整性,读者也可以自己验证论文的真实性。如果学术期刊要求作者在投稿时提供论文所有的方法、数据、材料和分析,尤其是原始结果,而大数据技术使这些要求在网络投稿系统中容易实现,那么期刊编辑对论文质量的判断过程会更易于操作。在同行评审阶段,期刊向评审人公开这些数据集,以便他们正确地评估研究意义和研究方法,更快做出高质量的判断和建议。公开详细的原始数据这一要求使造假更难,让作者更严格地对待论文中将要发表的实验数据。这样不仅能提高同行评审的有效性,而且可减少重复性研究论文的评审工作量。此外,如果有必要进行更正式的调查,齐全的原始数据有利于消除信息不全的瓶颈,加快调查进度。因此,开放数据可以预防胜于治疗,提高同行评审的速度和质量。
4 结束语
学术丑闻暴露出的问题很复杂,同行评审本身也存在诸多不足,本文主要探讨丑闻事件折射出的同行评审问题及其应对策略。通过分析发现同行评审在速度、数量、质量和论文评价标准上不能很好适应目前学术出版要求。笔者从战略和技术层面提出:一方面同行评审是科学界和出版界的共同责任,双方应明确参与者责任,构建一个健全的评审体系;另一方面,利用网络和数据技术等开放性手段提高同行评审的质量和速度,鼓励更多科学家参与进来。
构建一个责任明确、信息透明的同行评审系统,并不是一件容易的事情,因各种利益冲突会存在很多困难。但是,健全开放的同行评审有利于保证裁判公正,保护期刊的真实可信度,促进学术出版的繁荣,推动科学技术的发展,应当成为学术出版的努力方向。
5 参考文献
[1]REICHES.Plasticfantastic:Howthebiggestfraudinphysicsshookthescientificworld[M].NewYork,USA:PalgraveMacmillan,2009
[2]李友轩,赵勇.“黄禹锡事件”后韩国科研诚信的治理特征与启示[J].科学与社会,2018,8(2):18
[3]祝叶华.“小保方晴子STAP涉嫌造假”引轰动[J].科技导报,2014,2(11):9
[4]SERVIKK.Targetsofmisconductprobelaunchalegalcounterattack[J].Science,2015,7(6217):13
[5]云静,詹莉芳.论新兴和争议性科学的新媒体报道模式和策略:以澎湃新闻客户端“韩春雨事件”报道为例[J].东南传播,2018(1):96
[6]戴玉,蔡仲.科学自律性之困境:从“普兹泰事件”来看[J].科学学研究,2016,4(4):490
[7]段为杰,于洋,吴立航,等.CrossCheck检测平台及信息核实在学术不端防治中的作用[J].编辑学报,2018,30(1):64
[8]徐婷婷,曹雅坤,曾礼娜,等.关于防范科技论文中“隐性”学术不端行为的建议[J].编辑学报,2018,0(1):58
[9]彭芳,金建华,董燕萍.同行评议造假原因分析及防范措施[J].编辑学报,2018,0(3):240
[10] ZHU J,FUNG G,WONG W H,et al.Evaluating the Pros and Cons of different peer review policies via simulation[J].Science & Engineering Ethics,2016,2(4):1073
[11] KELLY J,SADEGHIEH T,ADELI K.Peer review in scientific publications:benefits,critiques,& a survival guide[J].The Journal of the International Federation of Clinical Chemistry and Laboratory Medicine,2014,5(3):227
[12] Elsevier.Scopus content at a glance[EB/OL].[2019-03-06].https://www.elsevier.com/solutions/scopus/how-scopus-works/content
[13] SCHLEY D.Peer reviewers satisfied with system[EB/OL].[2019-02-21].http://www.timeshighereducation.co.uk/408108.article
[14] KOVANIS M,PORCHER R,RAVAUD P,et al.The global burden of journal peer review in the biomedical literature:Strong imbalance in the collective enterprise[J].PLoS One,2016,1(11):e0166387
[15] BJRK B C,ROOS A,LAURI M.Scientific journal publishing:yearly volume and open access availability[J].Information Research,2009,4(1):391
[16] WARE M.Peer review:Benefits,perceptions and alternatives[R].London:Publishing Research Consortium,2008:10
[17] GODLEE F,GALE C R,MARTYN C N.Effect on the quality of peer review of blinding reviewers and asking them to sign their reports:a randomized controlled trial[J].Journal of the American Medical Association,1998,0(3):238
[18] COLQUHOUN D.Publish-or-perish:peer review and the corruption of science[EB/OL].[2019-03-01].http://www.theguardian.com/science/2011/sep/05/publish-perish-peer-review-science
[19] NIELSEN M.Three myths about scientific peer review[EB/OL].[2019-03-07].http://michaelnielsen.org/blog/three-myths-about-scientific-peer-review/
[20] KENNEDY D.More questions about research misconduct[J].Science,2002,7(5578):13
[21] ADAM D,KNIGHT J.Publish,and be damned[J].Nature,2002,9:773
[22] SCH J H.Big trouble in the world of “big physics”[EB/OL].[2019-03-06].https://www.salon.com/2002/09/16/physics/