【摘 要】［目的］引入透明性同行评议这一新兴概念,对其边界进行界定,并建构相应的发展框架,提出实践对策。［方法］使用案例分析和文献搜集的方法,总结透明性同行评议的特点、现状以及存在的问题,并在此基础上提出透明性同行评议的构建框架。［结果］透明性同行评议解决了开放式同行评议中存在的基本问题,即作者发表论文的需求和评议专家保护隐私的需要,因此,透明性同行评议是理想与现实的结合,更具实践优势。［结论］透明性同行评议涉及作者、评议专家、编辑、读者,以及科研机构评价体系等主体。在透明性同行评议的探索过程中,应该继续坚持多元合作的原则,将同行评议的改良工作扩展到更多的主体当中。
【关键词】同行评议；开放同行评议；透明性同行评议；开放科学；科学评价
2018年Clarivate旗下的Publons公司发布了首份《全球同行评议现状报告》,在该报告中Publons公司利用Clarivate多年积累的大量真实数据,从数量统计的角度对现有同行评议过程中存在的问题进行了细致梳理。该报告分为简介、评议专家的构成、评议过程的效率、评议质量、未来发展5个部分。在这5个部分中,分别涉及了评议专家拒绝评议的问题、同行评议报告的质量测量问题,以及编辑对同行评议专家选择过程中的主观作用等问题,并建议应该将更多年轻学者和来自以中国为代表的新兴科学强国的研究人员引入评议过程,以扩充同行评议专家库。该报告的结尾部分指出,随着越来越多的年轻研究人员成为学术界的中坚力量,一个更具透明性的同行评议过程将会是科学界的主流[1]。
透明性同行评议伴随开放式同行评议而产生,但两者概念界定存在模糊和重叠的地方,与其相关的理论研究和实践较少。因此,本文拟从透明性同行评议的产生背景、概念界定、建构及实践对策这3个方面来探讨透明性同行评议,为学术出版和科学评价提供有益的建设思路。
1 透明性同行评议的产生
在新技术环境下,科学模式正由传统的闭合科学走向开放科学(Open Science),科学研究表现出全方位高度开放性、参与主体多元全纳性、科学研究过程高度透明性[2]。
德国哥廷根大学图书馆的Ross-Hellauer[3]认为开放式同行评议应该是一个涵盖性术语,包含7个关键特性:公开身份、公开评议报告、开放参与、出版前公开评议、出版后评议、作者与审稿人公开交互和开放评议平台。不同的概念之间既相互独立,又相互重叠,共同构成了开放式同行评议的概念[4]。Ford[5]将开放式同行评议划分为评议过程和评议时间两个方面,其中按照评议过程,可划分为署名评议、公开评议、编辑媒介性评议、透明化评议和众包评议;按照评议时间,可划分为出版前公开评议、同步评议和出版后同行评议。中国学者孟美任和张晓林[6]利用象限分析的方法将同行评议和开放式同行评议的需求划分为不同层次,并将开放式同行评议的开放性界定为公开内容、参与维度、公开时间3个一级维度。
开放式同行评议的实践活动结果也差强人意。Nature的开放式同行评议直接以失败告终。《澳大利亚医学杂志》在1996年3月和1998年10月分别进行了两次开放式同行评议的相关实验,第二次实验直接以失败告终。实验结果的不尽人意、评议专家的抵抗情绪都是开放式同行评议发展过程中需要解决的现实问题。
由于开放式同行评议在理论上很“丰满”,但在实践中却很“骨感”,因此,学术出版的从业者从实践的角度规避了公开评审者姓名的硬性规定,将评审者姓名公开的权利交给评审者自己,只强调公开评议报告。这种做法的有效性已被实践证实,由此产生了透明性同行评议。
Nature虽然在第一次开放式同行评议实验中并未取得理想的效果,但是一直未放弃对同行评议过程的改良。在第一次实验结束后的第10年,即2016年1月,Nature在其子刊Nature Communications中进行了透明性同行评议实验。与之前的实验相比,Nature Communication在评议身份的设置上将匿名设置为默认选项,专家可以自行选择是否公开姓名,而作者需要主动选择是否出版自己论文评议过程中产生的文件。在实验期间,Nature Communications所刊发的787篇文章中有60%的作者选择了透明性同行评议的方式,公开了评议报告,这与第一次实验结果的5%相比,取得了显著的提升。笔者认为,2016年实验比2006年实验成功的原因有3个方面:首先,尊重评议专家的匿名权力,避免了由开放评议专家身份造成其对实验的抵触情绪;其次,实验前Nature Communications明确表示会出版同行专家的评议报告,这对于评议专家来说是一种学术激励;最后,随着开放科学的蓬勃发展,开放获取、开放数据和预印本文库对于各个学科已经产生了深远影响,开放式同行评议在此10年间做出的各种努力都对研究人员产生了影响。从实验结果可以看到,来自比较开放学科的研究人员往往更加愿意在评议报告中署名[7]。
2 透明性同行评议的内涵
透明性同行评议(Transparent Peer Review)目前多应用在期刊的实践工作中,使用者多是学术出版的从业人员,而同行评议的研究人员并未对其内涵作出具体的解释。透明性同行评议的内涵与Ford[5]提出的透明化评议(Transparent Review)存在很大差异,她认为透明化评议的评议过程应当对整个学术共同体或公众开放,作者、评议专家和公众间可以了解彼此的身份,同时,包括作者文章、评议报告以及参与方之间的沟通过程都应该被公布出来。而现实中的透明性同行评议在开放程度和涉及的参与方数量上都与Ford提出的概念相差甚远。
根据Wiley、Publons和ScholarOne共同发布的相关文件,他们将透明性同行评议中“透明性”的含义归纳为2个方面:评议过程中所有的评议内容是公开的,评议者身份是否公开是可选择的[8]。而在开放式同行评议中,无论是作者身份还是评议内容都应对大众公布,不存在可选项。尽管该文件中并未提及开放式同行评议的其他特性,但可以清楚地发现开放式同行评议与透明性同行评议的主要分歧点在于是否公开评议专家身份。开放身份的特性对于开放式同行评议来说至关重要。从直觉的角度看,对于大部分不熟悉开放式同行评议的研究人员来说,开放身份与开放式同行评议之间具有同等性。根据Ross-Hellauer[4]提取的122条开放式同行评议特征,开放身份的占比达到了90%(110/122),在所有特性中处于第一的位置。开放身份是开放式同行评议的重要标志,但由于评审专家心存芥蒂,它也成为开放式同行评议发展的主要障碍。 Ford[5]曾指出,如果为了避免争议而放弃开放身份的特性,这不利于开放式同行评议的最终发展。在Ross-Hellauer[4]2017年进行的有关开放式同行评议的调查中,通过对2994名在工作过程中与开放式同行评议有过接触的人员进行问卷调查,对开放式同行评议中各个特性的接受度进行了细致的总结。在对评议者身份公开特性的调查中,有73.9%的被调查者同意或强烈同意评议专家有权利选择是否公开自己的身份。同时,有67.2%的人认为如果期刊强行公开评议者身份,会降低评议专家参与同行评议的意愿。
在新技术环境下,即使已经具备了实施开放式同行评议的技术条件,但受商业利益和心理障碍等其他因素的影响,透明性同行评议成为开放科学与同行评议机制结合的实际产物。通过透明性同行评议和开放式同行评议的实验案例,我们可以辨别二者内涵的差异。
现有的开放式同行评议实验和实践,虽然都采用了“开放式同行评议”的称谓,但其实质更倾向于透明性同行评议。以Atmospheric Chemistry and Physics(ACP)为例,其将同行评议的过程分为两个阶段:文章会先经过一个快速的同行评议过程,在这一过程中只对文章的基本质量进行评审;之后,文章会被发布到Atmospheric Chemistry and Physics Discussions(ACPD),进入一个被讨论的阶段。读者在阅读文章之后可以发表匿名或是署名的评论内容,如果被评论的文章通过了讨论阶段,就可以发表在ACP上,而评议内容和作者的回复则发表在ACPD上[9]。而同行评议平台Peerage of Science也采用了与ACP相似的做法。当论文进入Peerage of Science平台时,每个曾发表过论文的读者都可以充当评议专家的角色对文章进行评论,而编辑在此过程中对论文和评论的基本质量等进行监控;进入第二阶段后,各个评议人还会对别人的评议内容进行评分和再评议,作者也会根据评议者的建议对文章进行修改;最终编辑会将通过评议的文章和有关的评议报告存入Peerage of Science的数据库中,供其他期刊编辑选取[10]。从Nature Communications、ACP等案例可以看出,能够顺利开展的开放式同行评议实践活动具有以下共同特点:评议过程中所有的评议内容都是公开的,而评议者身份是否公开是可选择的,这恰恰是透明性同行评议的内涵。
除了上述的案例之外,对评议专家成果进行专业认定的Publons和将同行评议过程脱离于期刊出版、形成独立同行评议模式的RUBRIQ都被视为在透明性同行评议概念下进行的实践活动;而相比之下,F1000 Research模式在各方面的特性中都更接近开放式同行评议。笔者认为透明性同行评议应该是一个动态的概念,在秉承开放式同行评议创造一个开放、透明、公平的同行评议机制的信念下,参考开放式同行评议已有的特性,以同行评议过程的实际问题为导向来完成自身概念边界的定义。
3 透明性同行评议的建构
尽管开放式同行评议在理论研究上存在不同的声音,但在实践过程中需要解决的矛盾是相同的,即评议过程透明性的需求和评议专家隐私保护的需要。从科学史观的角度看,同行评议专家充当科学质量守门人的角色。评议过程是针对作者、编辑和评议专家而设计的,评议专家的责任是运用自己的科学知识帮助编辑完成学术论文的质量检测。早期的科研工作多是在皇室或贵族的支持下完成的,科技期刊作为一种科学交流的形式,单纯地为不同的科学家提供了一个沟通场所。而随着现代商业的发展,学术出版被少数出版集团垄断,商业资本成了学术研究中不可忽视的力量。之后,影响因子的建立和引文分析的应用,为学术期刊附加了学术评价的作用,形成以结果为导向的科研评价体系。随着现代科学体系的分化,科学共同体按照学科和研究方向被分割成无数个分散领域的小团体,这些分散的研究领域又以独立期刊的出版为标志,最终,科学出版工作的主导权由科学共同体流转给期刊。由此可见,同行评议的发展过程会受到多种因素的干扰与制约,同理,透明性同行评议更会受到多元关系的影响。
3.1 多元建构模型
多元关系下的透明性同行评议模型如图1所示。
图1 透明性同行评议多元建构模型
3.1.1 同行评议报告的公开出版
根据Publons公司发布的《全球同行评议现状报告》,现有同行评议机制面临的主要问题是评议专家资源短缺与大量投稿待审之间的矛盾。通过出版评议专家的评议报告,科研机构将其评议报告纳入评价体系,以实现对评议专家的激励,这可在一定程度上解决评议专家资源短缺的问题。而出版评议报告的基础就是评议报告的公开化,因此,评议报告公开的特性必然成为透明性同行评议的核心特性。相比之下,身份公开可能产生的问题削弱了该特性在透明性同行评议中的重要性,但受开放科学运动的影响可以成为可选项,为想要在特定团体中建立起声望的研究人员提供一个合适的场所。而针对评议时间划分的特性,只涉及出版机制本身的改变,与透明性同行评议机制不存在本质上的冲突。同时,随着预印本系统的不断普及,出版前的透明性同行评议可能会成为学术界和期刊界的双赢选择。
3.1.2 作者-编辑-评议专家的关系重构
已有的同行评议研究大多针对作者和评议专家,研究人员试图通过对二者关系的改变来解决现有同行评议过程中存在的问题。但是,现实的同行评议工作所涉及的利益方远超过了这种简单的二元关系。首先,同行评议仍然是一个以编辑为主导的学术评审过程。无论是专家的遴选,还是作者与专家的沟通,都需要编辑来牵头完成。而透明性同行评议中评审专家身份公开的不确定性也对编辑的工作产生了影响。当作者可以与评议人直接沟通后,编辑的工作应该如何进行相应的调整,以及如何对作者和专家的沟通进行规范,这都需要研究人员进行思考。
3.1.3 公众评议
公众既是科学研究的资助人,也是科学研究成果的受益人。研究人员开始更多地关注如何让公众参与到科学工作之中。作为开放科学运动的先行者,开放获取运动致力于解决公众在获取科学研究成果过程中遇到的困难,并取得了成效。而互联网的崛起和科研活动产生的海量数据与数据处理能力的不足为科研众包方式的兴起提供了条件,如何将公民科学家的力量更好地应用到科学工作的方方面面,这对我们提出了新的挑战[11]。
3.1.4 科研评价体系的认可
在学术出版过程之外,科研机构的评价体系更是从根本上把握了透明性同行评议能否向前发展的命脉。如果科研评价体系不能将评议报告纳入专家的学术成果,这不仅浪费了学术交流过程中产生的宝贵资源,还增加了吸引更多专家认证并出版自己的评议报告的难度。
3.1.5 期刊、出版社等的实践推动
在现有的出版体系中,期刊相对于个体作者和读者掌握着更多的资源,同时也涉及更多的利益价值,因此其在推动透明性同行评议的发展中也拥有更大的能力和动力。在实践方面,期刊仍会是透明性同行评议实验的主要推动者,同时开放科学带来的预印本,也可能成为透明性同行评议实验的重要参与者,因此,也需要予以更多关注。
3.1.6 相关学科的理论研究
透明性同行评议研究应该吸取开放式同行评议研究的经验,坚持理论研究和实验相结合的方法。在理论研究方面,LIS、社会学、编辑学等学科中从事同行评议相关工作的研究人员都将成为透明性同行评议理论研究的主要贡献者。
3.2 实践对策
在透明性同行评议的探索过程中,应该继续坚持多元合作的原则,将同行评议的改良工作扩展到更多的主体中[12]。以科研院所和高校为主体的科研单位应当将同行评议报告纳入科研评价体系中,以此推动研究机构的科研人员参与到同行评议工作中。同时,积极响应其他的开放科学政策,形成一套相互影响、相互推动的全方面开放科学流程。期刊和评审专家则需要改变传统的“帽子论”思想。期刊在科研评价过程中,应当不断扩充自己的评议专家库,开展同行评议培训,培养并吸收更多的青年学者担任评议专家。他们作为年轻学者对于新事物的接受度会更高,在解决同行评议专家资源短缺难题的同时推动透明性同行评议的实践。评议专家应当回归同行评议的本质,将重点放在完成评议工作上,而不仅仅将期刊评议专家的称号作为一种头衔。在接受期刊的评议邀请时,评议专家可以有意识地选择实行透明性同行评议或开放获取的期刊为主要对象来推动透明性同行评议的发展。对于公众,开放获取所涉及的数据资源、开放工具的开放使用和面向终身学习的开放课程都使得其在开放的创新模式下发挥群体智慧池的功能[13]。为公众找到一条通往透明性同行评议的道路,这既符合开放式同行评议的目标预期,又是同行评议实践的确切需要。
4 结语
本研究通过总结国外期刊的实践工作,对透明性同行评议的概念边界进行界定,提出透明性同行评议的多元建构模型与实践对策,并展望了下一步研究工作:(1)继续加强理论研究工作,丰富透明性同行评议的理论,为实践工作提供指导;(2)透明性同行评议的发展框架还处在一个宽泛和模糊的状态之下,相关部门应当为其实践工作投入更大的人力、物力和财力,加快其发展。
科学评价是科研管理中重要的工作内容,其客观、公正与权威性倍受关注。开放式同行评议是科研界的一种新型学术评价形式,其改革的过程应该是渐进式过程。在未来的发展中,透明性同行评议应当与开放科学运动紧密结合,随着学术出版环境的改变和新的科学政策的出台而调整自身的策略。
参考文献
[1]2018年全球同行评审状态[EB/OL].[2019-10-26].https://publons.com/community/gspr#open-elq-form-slider-DLGSPR.
[2]Chawla D S.罕见的开放式同行评审试验缓解了人们的共同关切[J].自然,2019,566(7744):368.
[3]Ross-Hellauer T.什么是开放式同行评审?系统评价[J].F1000研究,2017,6:588.
[4]Ross-Hellauer T,Deppe A,Schmidt B.开放式同行评审的调查:编辑,作者和审稿人的态度和经验[J].东北科技大学学报(自然科学版)一个,2017,12(12):e0189311.
[5]福特E.公开同行评审的定义和特征:文献综述[J].南京大学学报(自然科学版).学术出版学报,2013,44(4):311-326.
[6]孟美任,张晓林.中国科技期刊日期开放同行评议议机制的思考与建议[J].中国科技期刊研究,2019,30(2):149-155.
[7]透明的同行评议一年[J].自然通讯,2016,7:13626.
[8]Barros T,Simonite L,Graf C.透明的同行评审[EB/OL].[2019-09-12].https://clarivate.com/webofsciencegroup/webinars/transparent-peer-review-an-exciting-initiative-来自出版商ons-scholarone-and-wiley/.
[9]张昊,朱小玉,龙军,等.开放式同行评议模式的介绍与思考[J].世界科技研究与发展,2011,33(4):746-748.
[10]Hettyey A,Griggio M,Mann M等.科学同行:能行吗?生态与进化趋势,2012,27(4):189-190.
[11]卫垌圻,姜涛,陶斯宇,等.科研众包:科研合作的新模式[J].科学管理研究,2015,33(2):16-19.
[12]Tennant JP,Ross-Hellauer T.对同行评审的理解的局限性[J].研究诚信与同行评审,2020,5(1):6.
[13]金瑛,张晓林,胡智慧.公众科学的发展与挑战[J].图书情报工作,2019,63(13):28-33.
