【摘 要】注册报告作为一种新颖的出版模式,在近些年发展迅速。介绍注册报告的概念、发表流程,以及对于研究人员、期刊和资助机构等各方权益的影响,分析采用注册报告的现有期刊以及出版社的学科分布情况,同时以意大利期刊《CORTEX》为例,从审稿周期、发表时长以及传播效果等角度对该期刊的注册报告与传统出版模式论文进行比较,从而了解注册报告的具体发布情况。最后总结注册报告的优点以及局限,对未来发展进行展望。
【关键词 】注册报告;出版模式;发表形式;同行评审
科研成果的可重复性一直是学术界关注的问题,近些年,科学研究成果的可再现性危机困扰着科研界。在传统研究过程中,为了获得高质量吸引人的科研成果,研究人员易出现一些问题,如发表偏见、p值作弊、文章可重复性差等问题,研究人员为了产生更多能够成功发表的新颖研究,在研究过程中对数据进行修改使研究结果更加吸引人,但是这样的操作会导致论文的可重复性降低,同时也会出现一些问题,一方面,很多不容易发表的实验数据会浪费,这不仅是学术资源的浪费,也是经济资源的浪费,另一方面,发表论文的压力会使研究人员有意无意地修改论文数据和结论,直到研究结果足够新颖从而发表,这在一定程度上导致越来越多无法重复的论文出现。[1]
可重复性是科学的一个决定性特征,如果一项研究不能可重复则说明这个研究是不够成功的。[2]一项《Science》期刊上的调查显示,对三种心理学期刊上发表的100项试验和相关研究进行可重复性实验,实验结果表明只有一半结论是可重复的,这说明研究结论的可重复性降低了很多。[3] 2018年《Nature Human Behaviour》期刊也发表了一项关于研究结论的再现性研究,这项研究通过对2010—2015年间发表在该期刊上的21项社会学研究结论进行可再现性实验,研究结果显示有62%的结论是可再现的,有三分之一的结论无法再现,还有一些研究可再现部分结论。[4]心理学家Chris Allen和David Mehler对生物医学和心理学领域的113份预注册报告进行实验,并检验了296个独立的研究假设,分析结果显示在这些研究中有61%不支持最初的假设,有66%不支持可重复性实验,先前的研究表明,研究无效结果的比例估计在5%——20%,[5,6]上述的研究数据远远高于这个无效结果比例。
在这样的背景之下,科学界正在发起一项新型的文章发表形式:注册报告(Registered Report)。
1 注册报告的概况
1.1 概念
注册报告是由开放科学中心(Center for Open Science,COS)发起和支持的一种新型的发表形式。开放科学中心是一个非营利性组织,董事会由热心推广开放科学的科学团体的科学家和社会学家组成,致力于为研究者在整个研究周期中提供一个完整的服务体验。[7]注册报告强调研究问题的重要性以及研究方法的质量,目的是为了最大限度地降低发表偏见。注册报告在文章进行数据收集前进行同行评审,只要研究设计方法具有可行性,符合期刊对研究重要性和实际意义的要求,文章就可以在收集数据前被期刊收录,然后研究人员可以在接下来的一段时间内进行实验研究,之后提交完整文章。注册报告实质上是一份“研究计划”,内容包括研究问题、研究设计和方法、研究数据以及研究结论。注册报告能够有效地消除文章出版中对研究结果的偏见,审稿人在研究初期对方案进行评判,对研究方案可行的课题给予发表,在数据收集之前进行评审和建议,能够有效地消除各种可疑的实验研究,有利于提升研究质量。
注册报告凭借其独特性,不仅给研究成果和研究人员本身,还给期刊出版商以及研究资助机构带来了优势,首先对于整体研究而言,注册报告在一定程度上能够事先对研究整体进行设计和研究结论进行把关,文章的可重复性能够实现,透明的可再现性研究数量也会增加;其次对于研究人员来说,研究成果不仅可以在研究开始前就被一个较好的期刊收录,还可以更早的得到期刊方面的反馈,对研究内容进行改进;对于期刊出版商和资助机构来说,目前已有部分机构通过资助的方式与期刊合作开展研究,期刊可以通过出版优秀和再现性的文章受益,资助机构可以通过支持一系列项目获益,例如《PLOS ONE》和美国儿童肿瘤基金会(Children’s Tumor Foundation)正在合作开展一个名为2017年药物发现倡议注册报告奖的资助项目,这一机制不仅可以确保资助方支持的具体工作得以开展,还可以提高研究效率。[8]
注册报告与传统出版模式最大的不同之处在于,是在完成整体研究之前进行同行评审,还是在完成研究整体之后进行同行评审。传统出版模式是在收到论文投稿后对论文进行同行评审,通过则表示期刊接收该论文并进行发表,而注册报告这种形式允许研究人员在实验之前先向期刊提交他们的研究问题和试验计划以供同行评审,若通过则表示接收,只要研究人员在注册报告的第二阶段按照第一阶段的计划和方法进行实验,文章就会在第二轮同行评议后发表。因此,注册报告具备两个重要特点:一是在产生研究结果前进行同行评审;二是论文不会在第一阶段因为研究结论被拒稿。[9]
1.2 发表流程
注册报告的发表流程与传统出版模式文章有很大不同。注册报告文章主要分为两个部分或阶段。注册报告的第一阶段需要提交注册报告的研究问题和实验计划,如果可能的话,在注册报告的第一阶段还可以提交一些前期的数据,在注册报告第一阶段提交之后,期刊会对第一阶段提交的研究计划进行同行评审,包括研究问题的重要性、研究方法的可靠性和可行性等方面,如果评审通过,文章作者会收到一个“原则上接收”通知,这意味着如果作者按照批准的方案进行试验,期刊实际上可以保证发表。在收集数据之后,研究人员需要提交一份第二阶段的手稿,其中包括原始提交的介绍和方法,以及结果和讨论。结果部分包括预先登记的分析结果以及任何其他未登记的分析结果,未登记的部分为“探索性分析”的单独部分,这一步称为注册报告的第二阶段。审稿人会审核研究是否是按照预定的研究计划进行的,并对研究结论进行审核。如果通过评审,论文则最终正式发表。注册报告加强了对研究过程的审核,可以有效地保证最终研究结果和研究结论的客观准确。[10]注册报告的发表流程图如图1所示。

图1 注册报告发表流程
1.3 注册报告的优点和局限性
注册报告作为一种新颖的出版模式,在近些年快速发展,其与传统出版模式有很大的不同,注册报告将文章分成了两个部分,同时增加了事前同行评审,这种独特性既具有很多优点,也存在着一定的局限性。
注册报告的优点主要体现在以下几个方面。
(1)注册报告的出现能够有效地防止研究实验中的“发表偏见”和研究者偏见。注册报告的出现既有利于科学研究,也有利于研究人员,一方面注册报告能够有效地防止假设实验中的“发表偏见”,让论文从一开始就重视研究过程中的研究问题和研究方法,而不仅仅是“优秀”的研究结果,在结果已知之前就接收论文的想法,让我们超越了科学研究的可见性应该取决于其结果的假设,有些期刊被这种强大的偏见所束缚,优先发表积极、新颖的发现,而拒绝那些消极的发现。此外,在论文接收发表时注册报告也能够有效地避免研究者偏见,在论文发表时,知名作者的身份能够给论文带来一定的影响力,而对于一些无任何研究成果的研究人员来说,注册报告的出现能够避免出现因为作者本人,而忽略其研究内容导致的拒稿,注册报告的出现可以有效地改变这些状况。
(2)注册报告的同行评审流程能够给予作者帮助,同时更好地推动项目进程。在一个科研项目的研究过程中,同行评审对研究整体可行性的评估,对研究人员的建议以及对论文最终是否能够发表都发挥着很大的作用,注册报告强调对研究计划进行评审,能够给研究人员提供一个获得建设性反馈意见的重要机会,可以帮助他们在进行具体实验之前对研究计划进行调整,让研究人员更好地规避研究过程中的风险以及错误,这些是传统出版模式不能做到的。
(3)注册报告的发表流程可以提高科研诚信。注册报告的独特之处在于,其需要研究人员在第一阶段提交文章的研究方案,在此基础上进行数据获取和研究分析。这个流程使得研究问题的价值以及研究方案更加严谨,论文数据和结果也更加透明,不仅提高了论文的可重复性,同时也提高了论文的可信度,能够有效地保证科研诚信,避免了数据造假行为。
(4)注册报告有利于论文首发权的确立。注册报告的接收分为两个阶段,当作者提出想法产生论文研究计划,通过注册报告的第一阶段的“原则上接收”,就意味着目标期刊已经接收并保障了后续发表。目前有很多科研开放平台设立了注册报告栏目,研究人员可以在这些平台公布其研究计划和数据,这有利于论文首发权的确立。
与传统模式相比,注册报告也存在着一定的局限性,具体体现在以下方面。
(1)注册报告目前适用范围较窄。首先从研究角度而言,根据注册报告特有的两个阶段特性来说,注册报告并不适用于所有类型的研究,而是更适用于以假设为驱动的研究,不太适用于描述性研究以及发现性研究。从学科角度而言,根据现有已采用注册报告的期刊来说,目前注册报告还未普及所有学科,还需要进一步的发展。
(2)注册报告发表时长较长。注册报告的发表分为两个阶段,在通过第一阶段之后才可以进行第二阶段的研究,并且两个阶段的成果都需要进行同行评审,与传统发表模式相比,注册报告增加了一道流程,使得文章发表流程更加复杂,发表时长也更长。
2 注册报告的应用现状
2.1 采用注册报告的期刊分析
注册报告的概念被提出后,最早应用于一些心理学期刊和神经生物学期刊,后来陆续有其他领域的期刊也开始尝试这一新的投稿方式,从2013年《Cortex》作为首批采用注册报告的期刊开始,[11]采用注册报告的期刊开始不断增加,如《BMC Biology》《British Journal of General Practice》《Conservation Biology》等期刊都陆续开始采用注册报告。开放科学中心(Center for Open Science, COS)是注册报告指导委员会的主要机构,通过COS平台所收录的期刊数据对已采用注册报告的期刊进行整理,截止到2019年12月,已经有221个期刊以不同形式来实践注册报告的投稿。在这221种期刊中,有188种期刊将注册报告作为一种常规的投稿方式,有33种期刊通过特刊采用注册报告,还有一些期刊仅仅是引入了注册报告的部分理念。通过对现有的221种期刊进行分析,发现有47种期刊被2018年度的SCI收录,其中,有26种期刊为多学科期刊,主要分布在神经科学、心理学、精神病学、行为科学等学科,同时对期刊JCR影响因子分区进行分析,其中有18种期刊为Q1区期刊。
2.1.1 采用注册报告的期刊学科分析
为了更好地了解将注册报告作为常规投稿或特刊的221种期刊,通过《乌利希期刊指南》(《Ulrich's Periodicals Directory》)对221种期刊的学科进行分析,以更好地了解注册报告的期刊学科分布情况。《乌利希期刊指南》从1932年开始出版,收录了200种语言的15万个出版商的期刊资料,覆盖950个学科。[12]通过乌利希检索确定期刊所属学科,对期刊学科分布进行分析发现,采用注册报告的期刊共涉及36个学科,从图2期刊数量排名前10的学科可以看到,现有的采用注册报告的期刊主要分布在心理学、医学科学这两类学科,同时在生物学、教育、政治学以及商业和经济学科也有所发展。这说明随着注册报告的完善,其所涉及的学科范围也在扩大。

图2 采用注册报告期刊的主要学科分布
2.1.2 采用注册报告的期刊出版社分析
注册报告产生后,各大出版商积极回应,通过对现有的221本期刊的出版社进行梳理分析可以看到(图3),现有的注册报告主要分布在Wiley、JMIR Publications、SAGE和Elsevier等几大出版社,其中分布最多的是美国的Wiley出版公司,共有52种期刊采用注册报告,由Wiley公司采用的注册报告主要以心理学期刊为主,如《Applied Cognitive Psychology》《British Journal of Clinical Psychology》等期刊;其次是Journal of Medical Internet Research(JMIR)出版公司,共有24种期刊采用注册报告,其中采用期刊主要为医学领域的期刊;Elsevier出版社共有20种期刊采用注册报告,且主要分布在商业与经济类学科;SAGE出版社共有16种期刊采用注册报告,主要是心理学、医学以及特殊教育学科的期刊。

图3 注册报告主要出版商分布
2.2 已公开注册报告分析
开放科学中心不仅为出版方提供注册报告的发表流程、具体政策以及审稿指南等参考,同时还可以为研究人员提供现有的采用注册报告的期刊名单和已公开发布的注册报告,截止到2019年12月,COS平台有185份分布在不同期刊上公开的注册报告,通过分析统计发现,这些报告共涉及了41种期刊,主要分布期刊如图4所示,分布最多的期刊为Comprehensive Results in Social Psychology,在公开的注册报告中有18篇来自该期刊。

图4 注册报告主要期刊分布
3 典型案例分析
为了更细致地反映采用注册报告期刊的具体情况,以爱思唯尔出版的意大利期刊《Cortex》为例,对已发表的注册报告和传统出版模式的论文进行对比分析,能够更好地了解注册报告这种新的发表形式。《Cortex》是致力于研究神经系统和行为的期刊,2013年成为提供注册报告的首批期刊之一,在2015年5月,该期刊发表的首篇注册报告,是由Jona Sassenhagen和Ina Bornkessel-Schlesewsky所撰写的关于用于测试P600(与语言处理相关的电生理波形)是否为实际上是P3(与注意力相关的波形)的实例研究。[13]从第一篇注册报告的发表到2019年12月,《Cortex》已发表了20篇注册报告。
为了更好地对《Cortex》期刊中以注册报告形式发表的文章和传统发表形式的文章进行发表时长对比,以该期刊的注册报告出版时间为依据,选取了发表在相同年份、相同卷期的传统模式论文进行对比,共选出20篇注册报告同时期的20篇传统模式论文,比较两种模式在发表时长、审稿效率、传播效果等方面的差异,以更好地了解两种模式的特色。在《Cortex》中,注册报告的第一阶段为Registered Reports Protocol,在第一阶段同行评议之后,符合评价标准的将得到原则上的接受,作者将继续进行调查,并承诺其完整的研究及其后续的所有发现成果将作为关联研究文章发表,但前提是作者必须坚持最初的研究设计和按照期刊的严格标准进行实验。
通过论文的最初提交日期、接收日期(原则接收日期)以及全文发表日期来计算注册报告的发表时长以及审稿周期,传统出版模式论文的发表时长和审稿周期则通过收到论文、接收论文以及论文发表三个日期来统计,由于有部分注册报告并未明确标明第一阶段提交日期,不能精确统计发表时长与审稿周期,所以以其中有明确提交时间的注册报告来进行对比。
通过对《Cortex》注册报告(Registered Report)和传统模式文章(Research Reports)的提交时间与接收时间计算时间差,可以了解两种模式之间审稿效率的差距。注册报告需要进行两次审稿,对两个阶段的审稿分开统计,表1为两种模式审稿天数的统计情况。注册报告第一阶段审稿天数的平均值、中位数比传统模式长,而第二阶段审稿天数的平均值、极值以及中位数均比传统出版模式短,对于注册报告而言,“初次提交”至“原则接收”的第一阶段是比传统发表额外增加的环节,虽然增加了额外的审稿步骤,但是从第二阶段的审稿时间上看,也节约了一定的时间。
表1 注册报告和传统模式文章的审稿周期比较
平均值/天 | 最大值/天 | 最小值/天 | 中位数/天 | |
注册报告第一阶段 | 182 | 269 | 66 | 190 |
注册报告第二阶段 | 117 | 304 | 27 | 90 |
传统模式文章 | 179 | 331 | 56 | 165 |
通过论文的提交时间和全文发表时间对《Cortex》注册报告(Registered Report)和传统模式文章(Research Reports)的发表时长进行对比,由于注册报告分为两个阶段,所以以第一阶段的提交时间来进行统计,表2为注册报告和传统模式的发表时长的统计情况,通过表中各个数值的比较可以看出,两种模式之间的发表时长有较大差距,与传统出版模式相比,注册报告的发表时长较长,这也是由于注册报告本身两个阶段的特点决定的。
表2 注册报告和传统模式文章的发表时长比较
平均值/天 | 最大值/天 | 最小值/天 | 中位数/天 | |
注册报告 | 736 | 1 148 | 411 | 696 |
传统模式 | 193 | 345 | 70 | 176 |
通过对两种模式的论文进行引文分析,可以更好地比较两种模式在传播效果方面的差异,在Web of Science数据库中检索《Cortex》期刊两种模式20篇论文的被引情况,注册报告的总被引频次为179次,每篇平均被引次数为8.95,传统出版模式文章的总被引频次为140次,每篇平均被引次数为7,在总被引频次和篇均被引次数上,注册报告比传统出版模式表现好。
4 对我国期刊的启示和建议
随着注册报告的进一步发展,未来会持续有其他期刊采用。虽然目前还没有国内期刊或者平台采用注册报告这一形式,但是注册报告这一发表形式对于推动我国期刊发展具有一定启示和意义。
注册报告分为两个阶段,这也是注册报告与传统出版模式最大的区别,期刊的第一阶段评审可以对文章质量进行全面把控,能够保证文章研究着力于解决领域内重要问题,同时也能够减少发表偏见,提升科研诚信。我国期刊可以参考注册报告中同行评审形式,在文章初期进行评审,大部分研究人员在研究初期需要相关领域专家进行指导,如果期刊能够提供这种服务,既可以提高期刊的投稿量,也能够加强期刊的内容质量,同时推动期刊审稿专家库的完善,建立专业化的审稿团队。
目前采用注册报告的期刊为了在相关研究主题获得更多优质的研究内容,从而更好地吸引作者,在征稿时与资助基金合作,发表论文后提供奖励,或者期刊与研究机构合作共同开展项目研究。我国期刊可以借鉴这种模式,在征稿时设置单独栏目,与基金项目或者机构项目合作发表论文,一方面确保期刊的论文质量,有利于提高期刊等级,另一方面也能吸引更多新颖优秀的论文在期刊发表。
5 总结
注册报告目前还处于初步发展阶段,采用注册报告的期刊数量较少,且还有部分期刊未正式发表注册报告,同时现有的注册报告期刊覆盖学科范围不够广泛,不一定适用于所有的研究领域,但是对于适合的领域来说,这种新的发表形式对以假设为前提的科学研究是非常有利的。随着各个期刊出版商和各大开放科学平台的探索,这种模式会不断完善,并进一步在不同学科应用。与传统出版模式相比,注册报告在同行评审、审稿流程等方面有很大不同,虽然延长了整个研究的发表时长,但两个阶段的审稿以及同行评审使论文的审稿效率得到提升,同时,注册报告的同行评审流程也转移了传统同行评审的重点,使其更关注于对研究问题和方法的评审,能够更加合理地避免不合理的数据分析方法,不仅能够鼓励研究人员为透明化、可重复性的开放研究做出贡献,也能够给科研人员提供更加及时的反馈。这些优势是注册报告实质上的创新,是在传统出版模式上的进步。
参考文献
[1]注册报告(registered report)带给研究者什么?[EB/OL].(2019-08-23)[2019-12-25]..
[2]IOANNIDIS J P A.Why Most Published Research Findings Are False[J].PLoS Medicine,2005,2(8).
[3]COLLABORATION O S,CHEUNG C,HUNG C,et al.Estimating the Reproducibility of Psychological Science[J]. Science,2015,349(6251).
[4]再现性危机波及社会科学期刊[EB/OL].(2018-10-18)[2019-12-25]..
[5]Chris, Allen, David,et al.Open science challenges,benefits and tips in early career and beyond[J].PLoS biology,2019.
[6]机器学习论文呼吁“预注册”,事先评审专治“注水研究”![EB/OL].(2018-10-26)[2019-12-25]..
[7]开放科学知识库终将代替传统学术出版行业?[EB/OL].(2018-02-81)[2019-12-25]..
[8]COS Center for Open Science[EB/OL].[2019-12-25]..
[9]BMC Medicine成为首家接受注册报告的临床研究杂志[EB/OL].(2018-09-11)[2019-12-25]..
[10]详解“注册报告”:在知晓实验结果前进行同行评议[EB/OL].(2018-11-30)[2019-12-25]..
[11]Registered Reports:A step change in scientific publishing[EB/OL].(2014-11-13)[2019-04-25]..
[12]Ulrichsweb[EB/OL].(2018-08-22)[2019-12-25]..
[13]Cortex's Registered Reports[EB/OL].(2015-03-11)[2019-12-25]..