【摘 要】［目的］ 研究以开放透明为导向的新一代期刊评价体系TOP Factor的来源及应用,为我国科技期刊界参与并推动开放科学运动提供参考。［方法］ 利用网络调研法、文献调研法及数据分析法,探究TOP Factor的产生背景及340余种期刊的得分情况。［结果］ TOP Factor的产生主要归因于学术界已认识到影响因子评价体系存在漏洞,需要建立一套可以客观反映期刊发表内容质量,提高研究透明度和再现性的严谨、透明的期刊评价体系。TOP Factor共有10项指标,每项指标分为0—3分4个等级,目前已进行评估的期刊中心理学领域的期刊得分较高。［结论］ 开放透明已成为今后学术出版的大趋势,TOP Factor是从出版源头推进开放科学,随着其在促进数据开放共享、提高学术成果可重复性方面的优势逐渐突显,使用TOP Factor的期刊和出版商将会越来越多。我国科技期刊应重视这一趋势并积极制定与开放科学相关的期刊政策,努力打造开放透明的学术生态。
【关键词】TOP Factor；开放科学中心；开放科学；期刊评价体系
自20世纪80年代以来,全球信息技术一直在高速发展,信息技术的变革与发展深刻改变了科学研究的评价方式。进入21世纪后,互联网及大数据技术的出现为科学研究深入合作、科研数据开放共享提供了机会,在此背景下,以知识共享为目标,开放获取、开放数据、开放审稿为纽带的开放科学运动应运而生[1]。开放科学(Open Science, OS)一词最早由美国经济学家、斯坦福大学教授David P提出,其认为公共部门产生的科学知识应为社会公有,在公开出版后应以开放、透明的方式实现全民知识共享,从而使科学知识的利用率达到最大化,更好地促进科研协作与创新,提高科学信息的传播效率[2]。随着开放科学运动不断向纵深发展,开放科学的概念和内涵也逐渐多元化,学术界对开放科学的定义尚未达成共识,但不可否认,这场运动使科学知识的研究方式和评价方式发生了颠覆性的改变,传统的闭合式研究已逐渐向开放式转变,对研究成果的评价也由原先的注重结果转变为以数据及研究过程为导向,科研数据的开放共享及科研结果的可重复性成为评价研究成果的重要方面[3]。
现今,开放科学已成为国内外科研界关注的焦点,欧美国家已采取了相应的措施,欧盟委员会 (European Commission, EC)开展了开放科学培训项目并注重建设开放科学基础设施[4],美国开放科学中心(Center for Open Science, COS)作为第三方非营利服务机构向科研参与者提供开放科学服务[5]。COS创建于2013年1月,以促进科学研究的开放性、完整性以及可重现性为目标,通过开发一系列软硬件设施向科研参与者提供各种开放科学实践渠道, 搭建了开放科学框架(Open Science Framework,OSF)并外接可扩展的第三方服务,使用户在统一界面能够享受文件和数据存储、数据分析等不同方面的开放科学服务。目前 COS 的全球用户已超过15万人,与近300个国家的科研人员建立了合作关系,公开科研文档200万份[6]。
2020年2月,COS发布新一代期刊评价指标——TOP Factor,其是基于《推进透明与开放指导方针》(Transparency and Openness Promotion Guidelines, TOP Guidelines),由10个标准组成的评价体系,用于评价期刊的透明开放程度,包括发表在该期刊的文章数据、分析方法、研究材料的共享程度及实验设计的预注册情况[7]。与传统的影响因子相比,该评价体系的覆盖面更广,对学术期刊出版流程和开放科学政策提出了更高的要求。自2015年TOP Guidelines发布以来,已有5000多种支持公开、透明和可复制性原则的期刊和89个机构签署了协议包括Wiley、Zenodo、Taylor & Francis Group、Springer Nature、Oxford University Press等国际知名学术出版商[8],这些期刊和机构承诺将根据TOP Guidelines的指导原则制定合适的开放科学政策。经过近5年的推广与实践,COS根据TOP Guidelines制定了系统的评价指标TOP Factor。在COS和有意愿推动开放科学的期刊的共同努力下,TOP Factor有望打破期刊影响因子的垄断地位,成为评价期刊及科学研究质量的新一代评价体系。
笔者于2020年5月在CNKI数据库中以“期刊评价”为检索词,通过标题进行文献调研,发现近5年国内学者关于学术期刊评价的相关研究主要集中在以下几个方面:(1)期刊不同评价模型指标的构建方法及指标模型,例如余菁等[9]构建了科技期刊移动传播评价模型,李沂濛等[10]研究了国际化背景下人文社科期刊论文评价指标体系,陈艳佳等[11]基于德尔菲法对开放获取期刊评价指标进行了筛选;(2)期刊评价中不同指标之间的关系,例如王燕[12]研究了期刊开放因子与其他评价指标的相关性,徐新华等[13]对学术期刊评价中不同指标的互补性进行了研究;(3)学术期刊的新评价指标,例如王小琼[14]研究了JCR 新增评价指标在期刊评价中的应用,刘雪立等[15]分析了跨学科期刊评价指标PR8指数并检验了其跨学科期刊评价效果。从检索结果可知,以上评价指标研究尚未涉及与开放科学有关的期刊评价体系。2020年2月,我国教育部和科技部为扭转当前科研评价中存在的SCI论文相关指标片面、过度、扭曲使用等现象,联合发布了《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》的文件,鼓励科研机构探索建立科学的评价体系[16]。鉴于此,本文系统梳理了TOP Factor的产生背景、评价标准、影响力、评分情况及优势,以期为参与学术评价的各方提供参考并推进我国开放科学运动的发展。
1 TOP Factor产生背景
现今,学术界和出版界仍倾向于将期刊影响因子作为评价期刊及论文的重要标准,很多学术机构将影响因子作为判断科学研究质量、重要性及评判研究者科研能力的主要依据。在我国目前的科研评价体系中,影响因子也占据着重要地位,与科研人员的晋升、课题申报密切相关。在此大背景下,学术界和科研评价体系都出现了过度依赖影响因子的问题,科研人员需要通过在高影响因子的期刊上发表文章才能获得资助和认可,科研评价体系已“偏离正轨”[17]。这种以影响因子为导向的评价体系带来了诸多不容忽视的学术问题,主要包括:(1)研究成果可重复性差,众多期刊存在发表偏倚,即只发表阳性结果论文,导致研究人员为了得到阳性结果而对结果进行P值操纵或挑选,且在研究报告中仅提及阳性结果[18];(2)研究假设滞后于研究结果,即获得研究结果后再从研究数据中推断研究假设[19];(3)数据、代码等不共享、不透明,大部分期刊未要求作者提供论文中涉及的原始数据,导致审稿人和其他研究人员无法判断是否存在虚假数据,且无法判断论文的统计方法、研究方法是否正确[20];(4)影响因子将“引文影响”误解为文章“研究质量”,被不恰当地用于研究论文的评价,但期刊影响因子得分并不能用于衡量该期刊所刊登的研究论文的质量[21]。以上学术问题已严重阻碍了科学的进步与发展,学术界已认识到影响因子评价体系存在漏洞,应重新建立一套可以客观反映期刊发表内容质量并可以提高研究透明度和再现性的更加严谨、透明的期刊评价体系。
2015年,以提高科学研究的开放性、完整性和可重复性为使命的社会组织COS首先采取了行动,由学科带头人、期刊编辑、资助机构代表以及社会和行为科学的学科专家组成的透明开放促进委员会(以下简称“TOP委员会”)在Science杂志上发表了一篇题为《促进开放研究文化》的文章[22],指出研究结果的透明度、开放性和再现性是所有学科持续进步和发展的重要条件,而现行的学术奖励制度和评价体系过于强调科研创新,忽视了对研究结果开放性的评价和激励。同时,学术期刊出版制度并不重视研究结果的透明、公开和可复制,例如,一个透明、公开和可复制的研究结果应该包括空的结果、阴性结果和具有统计学意义的结果,这些结果都是可用的,并可以帮助其他人更容易、准确地重现研究结果。但在当前的学术出版中,空结果、阴性结果的发布频率远远低于具有统计学意义的结果,这部分结果无法被访问并被丢弃在“文件抽屉”中,这种情况属于典型的集体行动。如果每位研究人员都遵循透明开放原则发表论文,所有研究结果的可信度也会因此提升,但问题在于许多研究人员缺乏提高透明度的强大动力,因此有必要通过期刊出版程序和政策的变革推动科研评价体系和激励结构的转变,进而推动科学研究朝着开放透明的方向发展。
针对上述问题,TOP委员会认为虽然大学、科研机构和出版商都为研究人员创造了不同的激励机制,但目前还没有一个普遍的科学政策和评价体系,因此在制定政策时可根据不同学科的共性制定跨期刊开放实践的共享标准,从而将科学规范和价值观转化为可使科研人员广泛参与的具体行动。根据广泛参与的指导原则,TOP委员会制定了TOP Guidelines,对期刊出版流程和政策进行了规定,包括8个透明和开放模块化标准,如论文数据透明、分析方法(代码)透明、研究材料透明情况等,每个标准又细分为3个递增等级,不同等级对应的开放透明程度有所差别[23]。COS欢迎学术期刊和机构积极以 TOP Guidelines 为蓝本,制定并实施其中某几条或全部的标准。
2020年2月,COS在TOP Guidelines 的基础上发布了新一代期刊评价体系——TOP Factor,用于评价期刊的透明开放程度,期刊编辑可以在网站上自主填写期刊评估表并提交至COS,COS的工作人员将在分数公布之前对提交的数据进行审查,并确认该杂志公开发布的政策。到目前为止,已经有340多种期刊进行了评估,评分已公布在COS网站上。这部分期刊主要来自心理学、经济学、教育学领域,已制定了相应的开放透明政策。
2 TOP Factor期刊评价体系
目前,TOP Factor评价体系共10条标准,每条标准都致力于推动开放科学的发展。这些标准具有模块化的特点,在使用时可以整体使用或采用部分标准,与此同时,这些标准之间又具备互补性,每个标准的实施有助于其他标准的实现。
10条标准可分为4个模块。第一个模块为引用和重复性研究标准模块。引用标准包括期刊作者指南中有明确的数据引用规则和示例,文章需要按照作者指南中的要求对数据进行引用及未按照引用指南要求进行数据引用的文章不予发表3个等级,引用标准对当前文章引用数据、代码和研究材料的规范性进行了扩展,充分保证前人原创的智力成果在被引用时得到肯定。重复性研究标准包括期刊鼓励提交重复性研究论文,期刊在审阅论文时对论文结果采用单盲法及期刊将注册报告作为投稿常规选型这3个等级,该标准肯定了重复性研究在验证独立实验结果中的意义并确定哪些符合标准的重复性研究可以发表在期刊中。在科学发展的道路上,不仅需要创新,还需要不断的自我纠正,重复性研究就是不断调整研究方向的过程。
第二个模块为透明度标准模块,包括数据、代码、研究资料及设计分析4个方面。数据、代码和研究资料透明度标准均分为3个等级:第一个等级是文章声明数据、代码和研究资料可获取,并且说明获取方式;第二个等级是数据、代码和研究资料必须上传至公开可靠的存储库,如果有特殊情况需说明;第三个等级是文章必须公开资料,且在发表前须进行针对该数据的独立再处理分析,通过计算重现并确认结果。这些标准均鼓励作者将资料提交到权威数据存储库中,例如Dataverse、Dryad、ICPSR等。设计分析标准的3个等级分别为期刊设立了设计透明度标准,期刊在审稿和发表流程中坚持透明度标准,以及期刊在审稿和发表流程中强制采用透明度标准。这4个标准组成的透明度模块有利于文章结果复现和评估。设计分析标准有利于提高研究过程的透明度并减少方法模糊或不完整的文章数量;研究材料标准鼓励作者提供研究方法中涉及的所有要素,其中代码资料包含分析模型代码和计算机仿真模型代码。
第三个模块为预注册模块。预注册研究是指研究人员在采集科研数据之前,通过特定的开放存储平台创建标记有时间信息且不可更改的,阐述某项研究工作实施方案、技术路线或分析方法的注册报告。预注册模块包括研究和分析计划预注册,3个等级分别是文章需说明涉及的研究及分析计划是否已预先注册;文章需说明研究及分析计划是否预注册,且期刊需评估研究是否遵照了预注册的实验流程,并结合实验数据判断所得结论是否真实可信;期刊要求证实性或推断性的研究必须进行预注册,即在开展研究之前,将实验方法和拟进行的分析进行预先注册形成注册报告。预注册制度将文章关注重点从实验结果转移到引导研究的问题以及能够解决这些问题的方法上,通过激励研究者对科学实践的探索来优化科研过程的关键部分并促使他们选择最佳的研究方法开展研究。这一模式的优势在于可为其他科研人员、审稿人、资助机构及出版平台提供检索、复用、审核该研究设计的全部信息,提高了科研成果的质量、透明性和开放性,也可解决文章统计方法有误或对实验结果有选择性地报告导致的实验结果可重复性差的问题,同时预注册制度有助于该研究被更多人了解,即使是未发表的研究也可在公共注册中心有记录可查询。
第四个模块为发表偏倚和开放科学徽章模块。发表偏倚的3个等级包括期刊声明研究结果的意义和新颖性并不是出版的唯一标准;在审稿过程中排除结果对文章的影响;期刊接收创新性研究的注册报告,并将其作为一种常规提交选项。开放科学徽章是指达到相应标准的文章可被授予徽章,包括开放数据徽章、开放材料徽章和预注册徽章,如果期刊有1——2个开放科学徽章,得1分,期刊有3个开放科学徽章,得2分。承认开放科学实践的徽章可激励研究人员共享数据、材料或进行预注册,并向读者发出信号,告知数据等内容可公开访问。
由于并非所有的标准都适用于所有期刊或所有学科,因此TOP Factor并不是一个单一的体系,而是将每个标准均分为4个层次(表1)。0分表示不符合标准。1分标准是在对期刊效率和工作流程产生最小影响的同时,衡量透明度。对于期刊来说,达到1分标准相对容易,例如,分析方法(代码)标准中,作者必须在文本中声明代码是否可用以及在何处可用。2分标准对作者的期望更高,但通常避免给采用该标准的编辑或出版商增加资源成本。2分标准中,要求作者将代码存放在可信任的存储库中,并检查该链接是否出现在文章中并解析到正确的位置。3分标准最严格,要求作者提供他们的代码以供审查,这可能会给部分期刊的实施工作带来一些障碍。虽然更高的级别可能需要更多的前期执行工作,但这些工作将提高出版物的质量,例如,提高与作者和审稿人沟通的效率,提高出版前错误的可检测性,确保与论文相关的数据可以长期访问等。
表1 TOP Factor期刊政策评价体系
| 标准类别 | 0分标准 | 1分标准 | 2分标准 | 3分标准 |
| 数据引用 | 没有提到数据引用标准 | 作者指南中有明确的数据引用规则和示例 | 文章需要按照作者指南中的要求对数据进行引用 | 如果文章没有按照作者指南中的规则进行数据引用,将不会被发表 |
| 数据透明 | 鼓励数据共享,或者没有提及 | 文章说明数据是否可获得,并提供可获得声明 | 文章数据必须公开至可靠存储库,或解释不能公开的具体原因 | 文章数据必须公开至可靠存储库,并且在发表前需进行针对该数据的独立再处理分析 |
| 分析方法(代码)透明 | 鼓励代码共享,或者没有提及 | 文章必须说明代码是否可获得,并提供可获得声明 | 文章必须公开代码至可靠存储库,或解释不能公开的具体原因 | 文章必须公开代码至可靠存储库,并且在发表前需进行针对该代码的独立再处理分析 |
| 研究材料透明 | 鼓励材料共享,或者没有提及 | 文章必须说明材料是否可获得,并提供可获得声明 | 文章必须公开材料至可靠存储库,或解释不能公开的具体原因 | 文章必须公开材料至可靠存储库,并且在发表前需进行针对该材料的独立再处理分析 |
| 设计分析透明 | 鼓励设计分析方法共享,或者没有提及 | 期刊设立了设计透明度标准 | 期刊在审稿和发表流程中坚持透明度标准 | 期刊在审稿和发表流程中强制采用透明度标准 |
| 研究预注册 | 期刊未提及研究预注册 | 文章必须说明涉及的研究是否已预先注册 | 文章需说明研究工作是否预注册且期刊需进行验证 | 期刊要求证实性或推断性的研究必须预注册 |
| 分析计划预注册 | 期刊未提到相关内容 | 文章必须说明是否对分析计划进行预注册 | 文章需说明分析计划是否预注册且期刊需进行验证 | 期刊要求证实性或推断性的研究分析计划必须预注册 |
| 重复性研究 | 期刊未提到相关内容 | 期刊鼓励重复研究投稿 | 期刊鼓励重复研究投稿,并在审稿流程中实施研究结果单盲法 | 期刊将重复研究注册报告作为投稿常规选型 |
| 发表偏倚 | 期刊未提到相关内容 | 期刊声明研究结果的意义和新颖性并不是出版的唯一标准 | 期刊在审阅论文时不考虑论文结果 | 期刊接收创新性研究的注册报告,并将该类文章作为投稿常规选项 |
| 开放科学徽章 | 期刊有1~2个开放科学徽章 | 期刊有3个开放科学徽章 |
3 TOP Factor评价体系的影响力
3.1 TOP Factor拟纳入Web of Science主期刊列表
TOP Factor及其数据是可公开获取的资源,并且COS鼓励学术界和出版界的参与方使用它。为扩大TOP Factor的影响力,COS和Clarivate Analytics公司的WoS (Web of Science)数据库达成合作,WoS拟将TOP Factor纳入其“主期刊列表”的期刊信息页面中,研究人员、出版商和图书馆员可通过信息页面跟踪出版物的TOP Factor情况[24]。WoS通过合并TOP Factor数据,使科学期刊可获得的信息多样化,协助研究人员了解所有期刊的开放透明程度,对作者、读者、出版商和编辑来说均有帮助。
3.2 关于TOP Guidelines的期刊述评
TOP Factor是在TOP Guidelines的基础上建立的,自2015年TOP Guidelines发布之后,部分期刊采取了积极措施并发布了详细的述评介绍期刊所采用的TOP标准,以便让读者和作者更好地了解并参与,Ecology Letters和Nature等期刊均发表了关于TOP体系的述评,Association for Psychological Society(APS)于2015年6月25日发表了标题为“APS Commits to Promoting Transparent Science”的述评[25],该述评认为透明符合科学的集体利益,而不符合科学家的个人利益,学术期刊通过实施TOP Guidelines中的标准可推动开放科学,更重要的是,期刊编辑可以根据其领域的相关需求和实践选择这些标准的严格程度更高或更低的版本。TOP Guidelines签署者的集体行动可以提高科学的透明度。APS一直走在开放科学运动的最前线,主张所有科学领域都应积极改革,推进开放科学向纵深发展。近年来,APS已针对透明性和可重复性发布了很多举措,包括发表在APS旗下期刊Psychology Science上的“注册报告”,更新APS旗舰期刊Psychological Science作者提交指南等等。International Journal of Primatology(IJP)于2016年11月17日发表了题为“Changes and Clarifications to the Policies of the International Journal of Primatology to Promote Transparency and Open Communication”的述评[26],该述评详细阐明了期刊对于重复研究性论文、论文数据共享和发表偏倚等方面的政策。IJP认为复制发现是科学进步的重要组成部分,复制使研究人员能够评估单个研究结果的有效性并探究其普遍性。在数据透明度方面,该述评指出共享数据为单个研究人员以及科学界带来了好处,例如,未存储在存储库中的数据会迅速丢失,而数据归档可提供稳定的备份并提高协作及研究的可发现性,因此,IJP旨在促进数据共享,鼓励作者将文章中涉及的所有数据存档至公开数据存储库,并要求作者在归档数据时遵循FAIR原则。在发表偏倚方面,该述评认为阴性结果与阳性结果同样重要,科学家有责任发布真实、全面的研究结果,以避免“文件抽屉效应”,即仅发布具有统计学意义的重要结果的趋势,而忽视无效的结果,这将导致发表偏倚。因此,IJP不拒绝零假设(通常称为“阴性”结果)的研究,要求作者报告所有统计分析的结果。为了进一步提高透明度和可重复性,并确保作者遵守期刊和述评中提到的政策,IJP根据《提高生态与进化领域研究透明度的工具》[27]在“作者须知”中添加了一份提交清单,并将此清单添加到审稿指南中,编辑将检查这些要点以评估作者的合规性。为了进一步鼓励研究人员共享出版物中的数据和材料,IJP允许作者在提交稿件的最终版本时申请开放科学徽章,包括开放数据徽章和开放材料徽章,对于符合要求的文章,徽章将显示在文章首页。
4 期刊总体评分情况
TOP Factor是根据期刊政策对TOP Guidelines的遵守程度进行评估的,用于度量期刊为实施开放式科学实践而采取的措施,其是评估期刊质量的另一种方法,旨在改进传统的平均引用率指标。目前已有340余种期刊根据TOP-Factor-Rubric[28]进行评分,并将评分结果公布在COS网站。表2所示为所有公布得分的期刊的10条标准的得分情况及比例,通过对表2所示结果进行横向分析可知:公布得分的期刊在采用数据引用标准方面的完成情况较好,48.1%期刊采取了相关措施并得到1—3分;在注册报告方面,期刊的完成情况最差,仅15.0%的期刊采取了措施。各标准完成比例按照分值高低排序,依次为数据引用、设计分析透明、数据透明、重复性研究、分析方法(代码)透明、研究材料透明、研究预注册、分析计划预注册、开放科学徽章、发表偏倚,该结果说明透明度标准模块的完成情况总体优于预注册模块和发表偏倚模块。对达到1分标准的期刊数量及比例进行分析,发现数据引用、数据透明和重复性研究的占比较高,期刊数
表2 各评价标准的得分情况及比例
| 开放内容 | 数据引用 | 数据透明 | 分析方法(代码)透明 | 研究材料透明 | 设计分析透明 | 研究预注册 | 分析计划预注册 | 重复性研究 | 发表偏倚 | 开放科学徽章 | |
| 0分标准 | 期刊数量 /种 | 178 | 197 | 228 | 240 | 189 | 249 | 259 | 219 | 294 | 264 |
| 占比 /% | 51.9 | 56.9 | 65.9 | 69.7 | 54.6 | 72.0 | 75.1 | 63.5 | 85.0 | 78.6 | |
| 1分标准 | 期刊数量 /种 | 111 | 100 | 57 | 82 | 79 | 87 | 76 | 91 | 4 | 4 |
| 占比 /% | 32.4 | 28.9 | 16.5 | 23.8 | 22.8 | 25.1 | 22.0 | 26.4 | 1.2 | 1.2 | |
| 2分标准 | 期刊数量 /种 | 49 | 34 | 35 | 18 | 75 | 7 | 7 | 1 | 1 | 68 |
| 占比 /% | 14.3 | 9.8 | 10.1 | 5.2 | 21.7 | 2.0 | 2.0 | 0.3 | 0.3 | 20.2 | |
| 3分标准 | 期刊数量 /种 | 5 | 15 | 26 | 4 | 3 | 3 | 3 | 34 | 47 | 0 |
| 占比 /% | 1.5 | 4.3 | 7.5 | 1.2 | 0.9 | 0.9 | 0.9 | 9.9 | 13.6 | 0.0 | |
| 期刊总量 /种 | 343 | 346 | 346 | 344 | 346 | 346 | 345 | 345 | 346 | 336 | |
量分别为111种、100种和91种,发表偏倚和开放科学徽章的占比最低。对2分标准的情况进行分析,发现达到设计分析透明2分标准和开放科学徽章2分标准的期刊数量最多,分别为75种和68种,说明这部分期刊完成这两个标准的情况较好。大部分期刊还未达到3分标准,除了47种期刊(13.6%)达到发表偏倚的3分标准外,其余达到3分标准的期刊数量占比均小于10%。通过对表2的结果进行纵向分析可知,在1—3分段,达到1分的期刊数量通常多余其他两类,这说明大部分期刊目前倾向于在作者指南中增加开放科学的内容及对作者提出了一些要求,但期刊在审稿流程中还未采取严格的措施强制要求作者达到TOP-Factor-Rubric标准。
表3统计了347种期刊的总体得分及各得分段的期刊数量与比例,其中76种期刊得分为0, 134种期刊的得分在1—5分,71种期刊的得分在5—10分之间,10分以下的期刊数量占比为81.0%,16分以上的期刊共13种,占比为3.8%,这部分期刊属于完成情况较好的期刊。
表3 各得分段的期刊数量及比例
| 总得分 | 0分 | 1~5分 | 6~10分 | 11~15分 | 16~20分 | 21~27分 |
| 期刊数量 /种 | 76 | 134 | 71 | 53 | 9 | 4 |
| 占比 /% | 21.9 | 38.6 | 20.5 | 15.3 | 2.6 | 1.2 |
表4所示为得分在16分以上的13种期刊概况,包括出版商、作者须知网址、学科分类和引证情况,其中13种期刊中有10种是心理学领域期刊,其余3种分别为管理学、神经科学和生物医学领域期刊,这说明目前心理学领域期刊在开放科学方面远远领先于其他学科。13种期刊的出版商分别是Sage(2种)、Cambridge University Press(2种)、Ubiquity Press、PsychOpen、Elsevier(2种)、BMJ、University of California Press、Wiley、Taylor & Francis、LNU Open,其中PsychOpen是欧洲影响力较大的开放心理学出版平台,BMJ为全球知名医学期刊开放出版平台,Cambridge University Press和University of California Press分别隶属于剑桥大学和加州大学,这两所高校一直是开放科学运动的引领者和实践者,2018—2019年,加州大学与Elsevier的博弈一度成为全球开放科学运动的焦点[29],Cambridge University Press与多个科研机构达成了开放获取协议[30],这说明开放出版平台和部分支持开放科学的出版社出版的期刊更倾向于采用TOP Factor体系。通过对13种期刊的引证情况进行分析,发现13种期刊中有8种期刊有影响因子,占比为61.5%,其中5种期刊属于Q1区,占比为38.5%,6种期刊2019年的影响因子与2018年相比有所提高。
表4 总得分在16分以上的期刊概况
| 序号 | 期刊名称 | 学科 | 总分 | 出版商 | 作者须知网址 | 引证情况 |
| 1 | Gifted Child Quarterly |
Psychology, Education |
16 | Sage |
https://journals.sagepub.com/ author-instructions/GCQ |
2018 IF: 1.304;Q3区 2019 IF: 2.140;Q1区 |
| 2 | Management and Organization Review | Management | 16 | Cambridge University Press |
https://www.cambridge.org/ core/journals/ management-and- organization- review/editorial-statement -and-inst ructions-for-auth |
2018 IF: 2.400;Q2区 2019 IF: 2.339;Q3区 |
| 3 | Journal of Experimental Political Science | Psychology, Social | 16 | Cambridge University Press |
https://www.cambridge.org/ core/journals/journal-of -experimental-poli tical-science/information/ instructions -contributors |
尚未被 JCR收录 |
| 4 | Journal of Cognition | Psychology | 18 | Ubiquity Press |
https://www. journalofcognition.org/ about/editorialpolicies/ |
2018 IF: 1.836;Q3区 2019 IF: 1.869;Q2区 |
| 5 | Social Psychological Bulletin | Psychology | 18 | PsychOpen |
https://spb.psychopen.eu/ index.php/spb/open-science |
2018 IF: 1.836;Q3区 2019 IF: 1.869;Q2区 |
| 6 | Journal of Research in Personality |
Psychology, Social |
19 | Elsevier |
https://www.elsevier.com/ journ als/journal-of- research-in-personality/ 0092-6566/guide-for-authors |
2018 IF: 2.569;Q2区 2019 IF: 2.767;Q1区 |
| 7 | BMJ Open Science | Biomedical | 19 | BMJ |
https://openscience.bmj.com/ pages/authors/ |
2018 IF: 2.569;Q2区 2019 IF: 2.767;Q1区 |
| 8 |
Collabra: Psychology |
Psychology | 20 |
University of California Press |
https://www.collabra.org/ about/editorialpolicies/ |
尚未被 JCR收录 |
| 9 | European Journal of Personality |
Psychology, Social |
20 | Wiley |
https://onlinelibrary.wiley.com/ page/journal/10990984/ homepage/f orauthors.html |
2018 IF: 3.329;Q1区 2019 IF: 3.910;Q1区 |
| 10 | Comprehensive Results in Social Psychology |
Psychology, Social |
23 | Taylor & Francis |
https://www.tandfonline.com/ action/authorSubmission? show=instructions &journalCode=rrsp20 |
尚未被 JCR收录 |
| 11 | Cortex | Neurosciences | 23 | Elsevier |
https://www.elsevier.com/ journals/cortex/0010-9452/ guide-for -authors |
2018 IF: 4.275;Q1区 2019 IF: 4.009;Q1区 |
| 12 | Advances in Methodologies and Practices in Psychological Science | Psychology | 25 | Sage |
https://www. psychologicalscience.org/ publications/ampps/ampps -sub mission-guidelines |
尚未被 JCR收录 |
| 13 | Meta-Psychology | Psychology | 27 | LNU Open |
https://open.lnu.se/ index.php/ metapsychology/ about/submissions |
尚未被 JCR收录 |
表5统计了13种期刊的TOP Factor得分情况,其中6种期刊的设计分析透明指标得分为0或1, 5种期刊的数据引用指标得分为0或1,这部分期刊在设计分析透明和数据引用标准化方面存在缺陷。13种期刊的发表偏倚指标得分均为3分,这说明所有期刊都已将注册报告列为作者投稿常规选项,该比例远高于347种期刊的平均水平13.6%。12种期刊的重复性研究指标得分为3分,仅Journal of Research in Personality的得分为2分,由此可见绝大部分期刊均接收重复性研究的文章,这与心理学领域文章的“可重复危机”密切相关。研究结果可重复性低是目前心理学研究中较为普遍的现象之一,据报道,心理学领域文章的研究结果可重复率小于50%[31],这一问题已受到各领域研究者的关注。出现这种局面的原因不仅与心理学实验中的复杂性有关,许多研究者偏差性的操作也是影响可重复性的重要原因。为了解决上述问题,很多心理学领域期刊鼓励作者发表重复性研究的文章,以减少心理学研究中由研究程序、数据分析、结果呈现等操作惯例造成的偏差。
表5 13种期刊的TOP Factor得分情况
| 序号 | 期刊名称 | TOP Factor得分 | 总分 | |||||||||
| 数据引用 | 数据透明 | 分析方法(代码)透明 | 研究材料透明 | 设计分析透明 | 研究预注册 | 分析计划预注册 | 重复性研究 | 发表偏倚 | 开放科学徽章 | |||
| 1 | Gifted Child Quarterly | 2 | 1 | 1 | 1 | 1 | 1 | 1 | 3 | 3 | 2 | 16 |
| 2 | Management and Organization Review | 2 | 1 | 1 | 1 | 1 | 1 | 1 | 3 | 3 | 2 | 16 |
| 3 | Journal of Experimental Political Science | 1 | 3 | 3 | 3 | 0 | 0 | 0 | 3 | 3 | 0 | 16 |
| 4 | Journal of Cognition | 3 | 2 | 2 | 2 | 1 | 1 | 1 | 3 | 3 | 0 | 18 |
| 5 | Social Psychological Bulletin | 1 | 2 | 1 | 1 | 1 | 2 | 2 | 3 | 3 | 2 | 18 |
| 6 | Journal of Research in Personality | 0 | 2 | 2 | 2 | 2 | 2 | 2 | 2 | 3 | 2 | 19 |
| 7 | BMJ Open Science | 1 | 2 | 1 | 0 | 1 | 3 | 3 | 3 | 3 | 2 | 19 |
| 8 | Collabra: Psychology | 2 | 2 | 2 | 2 | 2 | 2 | 2 | 3 | 3 | 0 | 20 |
| 9 | European Journal of Personality | 1 | 1 | 2 | 2 | 2 | 2 | 2 | 3 | 3 | 2 | 20 |
| 10 |
Comprehensive Results in Social Psychology |
2 | 2 | 2 | 2 | 3 | 3 | 3 | 3 | 3 | 0 | 23 |
| 11 | Cortex | 3 | 2 | 2 | 2 | 2 | 2 | 2 | 3 | 3 | 2 | 23 |
| 12 |
Advances in Methodologies and Practices in Psychological Science |
2 | 2 | 2 | 2 | 3 | 3 | 3 | 3 | 3 | 2 | 25 |
| 13 | Meta-Psychology | 3 | 3 | 3 | 3 | 3 | 2 | 2 | 3 | 3 | 2 | 27 |
5 TOP Factor评价体系对我国科技期刊的启示
5.1 TOP Factor评价体系的优势
现今,学术界已逐渐认识到影响因子并不能客观地反映研究成果的真实情况,研究成果的学术价值与研究人员的声誉或结果的新颖性没有必然联系,而是取决于得出结果的研究数据是否可信,实验方法是否可靠。正确评估科学发现的学术价值首先需要确认方法、材料和数据的真实性和可用性,《旧金山研究评估宣言》(San Francisco Declaration on Research Assessment,DORA)[32]和TOP Guidelines均提出有价值的研究成果必须在具备创新性的同时保证重复性,在发表研究成果的同时需保证研究数据和研究材料的公开共享并采用研究预注册制度。
TOP Factor是首个系统评价期刊开放透明程度的体系,该评价体系的建立有助于解决现有的集体行动问题。虽然科学数据公开和共享有多种优势,例如公开的数据不仅可用于对原始研究进行二次分析,还可以避免重复研究,生成或测试新假设等,这些优势已在很多学科领域达成了共识,但很难评估和促进透明度的提升,因此研究人员通常只愿意提供出版所需的数据和结果。在推进和真正提高数据共享程度方面,目前仍然存在很多问题,出现这些问题的根本原因在于研究人员缺少共享数据的动机。学术期刊是科学成果传播与交流的载体,同时又是学术成果的评判者、学术创新的推动者,在发布数据开放政策、推进数据共享实践方面具有得天独厚的优势。因此,从论文发表源头鼓励或要求科研人员共享数据便成为必然举措。TOP Factor通过完善研究数据和材料的互联网络,提供了改进当前规范的机会。该评价体系将给学术研究链的所有参与者带来广泛的好处,研究人员将能够更轻松地采用、测试或借鉴他人的工作;作者将通过提高研究结果可信度获得更多同行的认可;审稿人在审稿过程中将能够更严谨地评估论文;期刊将受益于在透明度方面的信息传递方式的统一性,以及论文可信度提高带来的期刊声誉提升。对于科研机构来说,能够通过TOP Factor 评价体系在聘用和晋升决策时考察研究人员工作的透明度和可重复性。TOP Factor体系同样适用于科研资助机构,资助机构可要求研究人员在现有工作流程中注重执行TOP Factor体系的标准,并将TOP Factor用于评估研究人员科研成果的透明度。
TOP Factor评价体系的使用规则也非常简单,各刊可以根据自身情况选择合适的实现方式,如可以通过要求作者在其论文中提供TOP Factor标准所涵盖的信息,或要求作者在发表之前完成一份清单,或通过要求将TOP声明作为文章的一部分,在文章发表过程中实施TOP声明。 TOP Factor体系适用于绝大多数期刊,因为其中的标准并不是针对某一个学科,而是具有很强的可移植性。期刊及出版商可通过向作者阐明标准并督促作者执行政策,使TOP Factor中的标准成为惯例,推进相关信息或元数据的标准化存储,这个过程完成之后则实施更严格的政策标准(例如透明性要求或共享产出的验证)也变得更加容易,最终有望形成一个开放透明的学术研究生态环境。
5.2 我国科技期刊应成为开放科学运动的引领者
当前,开放共享已经逐渐成为全球学术出版的大方向,其缩短了科研周期,提升了科研效率,减少了重复性劳动,研究人员可以通过集成分析其他研究人员公开的数据和资料,寻找新的研究方向,同时数据的公开和研究预注册提升了科研透明度,形成了严谨的科研监督机制,使得共享原始数据形成新的学术发展趋势。目前,我国大部分科技期刊还是以发表传统类型文章为主,对注册报告和原始数据类文章的关注不够,并且对文章的接收标准主要取决于编辑判断和审稿专家意见,对文章的可重复性和开放透明考虑得较少。大数据时代,科技期刊作为学术研究的重要参与者,应该重视科学数据、研究方法等科学研究的基础性资源,推进学术出版模式转型。在此背景下,科技期刊积极采用TOP Factor评价体系即是有效方法之一,因为开放科学发展的最大障碍是缺少学术激励制度,在开放科学实施过程中,研究人员需要付出更多的时间和精力对数据、代码等原始资料进行格式处理并上传到相关数据库等,如果在此过程中,研究人员所付出的成本得到了相应的回报,如获得更多的资助机会、得到同行的广泛认可等,其参与积极性将会大幅提升。期刊采用TOP Factor评价体系的优势如下:(1)提高期刊的学术声誉。毫无疑问,与未采用TOP Factor评价体系的期刊所刊登的文章相比,采用TOP Factor评价体系的期刊所刊登的文章在开放透明和可重复方面都有较大幅度的提升,长此以往,期刊的学术声誉也会随之改善。(2)提高研究成果的认可度。一旦期刊中的文章都采用了统一标准,该期刊刊登的研究成果的可信度将会大幅提升,研究人员在该期刊上发表文章所获得的认可度也会随之提高。TOP Factor体系形式多样且申请简便,期刊只需填写一个申请表即可使用该体系,这也是该体系的优势之一。
5.3 学术期刊编辑应深入了解、学习开放科学的基本要素
开放科学的基本要素包括通用的数据存储平台、完善的数据管理计划,及详细的数据、材料共享政策等,面对信息技术的高速发展和科研作者日益复杂的发表需求,学术期刊编辑需要提供全流程、精准化的出版服务。因此,随着开放科学运动的不断深入,数据存储平台和数据管理计划不断完善,期刊编辑需要尽快适应并紧跟趋势,提供满足作者需求的出版服务。
目前广泛使用的数据存储平台包括re3data、Data-PASS、Figshare等。re3data为2450个研究数据存储库建立了索引,以使研究人员、资助机构、出版商和学术机构能够选择合适的存储库来存储和搜索研究数据,增强了全球各种研究数据存储库的可访问性和可视性[33]。社会科学数据保存联盟(Data-PASS)主要用于存档、分类和保存社会科学研究的数据,包括民意调查结果、投票记录、有关家庭成长和收入的调查结果、社交网络数据、政府统计指数,以及测量人类活动的GIS数据等[34]。数据管理计划及共享政策也是开放科学的基本要素,很多期刊和出版商已创建了详细的指南用于指导作者更好地参与其中,Cell Press建立了结构化、透明、可访问的报告(Structured Transparent Accessible Reporting,STAR),其中包括涉及的网站、采用的方法和关键资源表[35];美国心理学会也发布了期刊文章报告标准[36];自然系列期刊给作者提供了生命科学类文章报告清单等[37]。这些指南和报告可以使作者更清楚地了解开放科学的基本要素并树立明确的目标,前提是期刊编辑要深入学习并熟练掌握各存储平台的数据存储流程和开放科学所涉及的关键要素,只有这样才可能创建适合期刊的标准和指南。
6 结语
本研究通过网络调研和文献调研分析了新一代学术期刊评价体系TOP Factor的产生背景、评价规则、影响力和期刊评分情况。TOP Factor有助于学术评价体系回归到研究自身,即根据自身情况评估研究,而不是根据发布研究结果的期刊。TOP Factor的应用非常广泛,作者可通过该体系识别致力于实现开放科学愿景的期刊,资助者可以使用TOP Factor体系评估哪些期刊最适合受资助者发表文章,出版商可通过TOP Factor监测学科的开放科学趋势。但需要注意的是,TOP Factor得分在判断研究质量方面有所欠缺,其主要衡量期刊提出的与研究过程相关的透明度政策在多大程度上提升了研究质量,因此,其并不能完全代替影响因子对研究质量的评价作用。随着TOP Factor的不断改进,后续评价指标还将涉及期刊流程方面,例如期刊运营的透明度、运营成本以及同行评审服务等,我们有理由相信,随着开放科学运动的不断推进,其在提高科研效率、促进学科交叉融合、增强学术成果可信度方面的优势逐渐突显,使用TOP Factor评价体系的期刊和出版商将会越来越多,其很有可能成为独立于影响因子评价体系之外的另一评价体系。开放透明是今后科学研究发展的必由之路,科技期刊作为学术研究的重要一极,应当积极承担起制定推动开放科学发展的期刊政策,完善科研评价体系的重任,努力成为开放科学运动的引领者,推动开放科学运动向纵深发展。
参考文献：
[1]陈秀娟,张志强.开放科学的驱动因素,发展优势与障碍[J].图书情报工作,2018,62(6):77-84.
[2]Mbabaali M.开放式科学和大学图书馆[C/OL].[2020-05-25].https://www.researchgete.net/publication/304624519_Open_Science_and_Academic_Libraries.
[3]吴建中.推进开放数据助力开放科学[J].图书馆杂志,2018,37(2):4-10.
[4]培育.关于FOSTER[EB/OL].[2020-05-25].https://www.fosteropenscience.eu/about#theproject.
[5]开放科学中心[EB/OL].[2020-05-28].https://cos.io.
[6]黄雨婷,赖彤.美国开放科学中心:实践进展,特点与启示[J].图书与情报,2019(3):105-113.
[7]新措施对研究期刊政策的质量进行了评级,以提高透明度和可重复性.[2020/05].https://www.cos.io/about/news/new-measure-rates-quality-研究期刊政策促进透明度和可复制性.
[8]开放科学中心.TOP指南是出版和资助期刊的公认标准[EB/OL].[2020-05-24].https://cos.io/top/#journals.
[9]余菁,张新楠,王维佳,等.关键词:科技期刊,移动传播,评价模型,指标构建中国科技期刊研究,2018,29(9):906-912.
[10]李沂蒙,张乐,赵良英.关键词:国际化背景下人文社科期刊论文评价指标体系研究图书馆工作与研究,2018(6):63-70. [11]陈艳佳,任慧玲.关键词:基于德尔菲法的开放获取期刊评价指标筛选中华医学图书情报杂志,2016,25(5):11-15.
[12]王燕.关键词:开放因子与期刊,其他评价指标,相关性研究情报探索,2018(9):65-68.
[13]徐新华,俞立平,王作功.关键词:学术期刊评价,中指标图书情报工作,2018,62(14):98-105.
[14]王小琼.JCR添加评价指标在期刊评价中的应用:以JCR旅游学科期刊为例[J].图书情报研究,2019,12(3):112-117.
[15]刘雪立,魏雅慧,盛丽娜等.期刊PR8指数:一个新的跨学科期刊评价指标及实际上证研究[J].图书情报工作,2017,61(11):116-123.
[16]教育部科技部印发《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》的通知[EB/OL].(2020-02-18)[2020-05-20].http://www.gov.cn/zhengce/zhengceku/2020-03/03/content_5486229.htm.
[17]冯文宇.大学科研“学术失信”及其纳入策略探析[J].物理化学学报科学与社会,2018,8(3):39-48.
[18]陶映雪,李霞,许桂萍.医学论文发表偏倚现象,原因,后果及改善措施[J].中国现代医学杂志,2011,21(35):4480-4482.
[19]张英丽.大学教师学术失范的个人和环境影响因素分析:基于多学校调查的实证研究[J].复旦教育论坛,2015,13(3):41-46.
[20]陈巧玲.中国科研诚信体系的多维度建构[J].华侨大学学报(哲学社会科学版),2018(3):63-69.
[21]刘雪立,魏雅慧,孟君.影响因子百分位在学术期刊跨学科评估中的局限性[J].中国科技期刊研究,2018,29(10):1018-1021.
[22]Nosek B A,Alter G,Banks G C等.弘扬开放研究文化[J].科学,2015,348(6242):1422-1425.
[23]透明度和开放度提升(TOP)指南[EB/OL].[2020-06-20].https://osf.io/vj54c/.
[24]出现在主期刊列表中的TOP因子[EB/OL].[2020-05-24].https://www.cos.io/about/news/cos-and-the-web-of-science-collaborate-将最重要的因素带入主期刊列表.
[25]APS致力于促进透明科学[EB/OL].[2020-05-25].https://www.psychologicalscience.org/publications/observer/obsonline/aps-commits-to-promoting-transparent-science.html#.WG-9ObYrJBw.
[26]为促进透明度和开放性交流而对《国际灵长类动物学杂志》政策进行的更改和澄清[EB/OL].[2020-05-25].https://link.springer.com/article/10.1007/s10764-016-9925-x..
[27]生态与进化透明度工具(TTEE)1.0[EB/OL].[2020-05-27].https://osf.io/g65cb/wiki/home/.
[28]Top-factor.csv(版本:15)[EB/OL].[2020-05-27].https://osf.io/qatkz/.
[29]郁林羲.加州大学推进开放获取过程中的利益博弈分析[J].大学图书馆学报,2020,38(4):12-19.
[30]郁林羲.Elsevier开放获取政策及措施研究[J].科技与出版,2020(5):89-98.
[31]刘佳,霍涌泉,陈文博,等.心理学研究的可重复性“危机”:一些积极应对策略[J].心理学探新,2018,38(1):86-90.
[32]改进对研究的评估方式[EB/OL].[2020-05-27].https://sfdora.org/.
[33]re3data.org[EB/OL].[2020-05-27].https://www.re3data.org/.
[34]Data-PASS[EB/OL].[2020-05-28].http://www.data-pass.org/.
[35]STAR方法:CellPress[EB/OL].[2020-05-29].https://www.cell.com/star-methods..
[36]心理学定量研究的期刊文章报告标准:APA出版物和交流委员会工作队报告[EB/OL].[2020-05-29].https://www.apa.org/pubs/journals/releases/amp-amp0000191.pdf.
[37]公告:《自然》杂志的透明度升级[EB/OL].[2020-05-29].https://www.nature.com/news/announcement-transparency-upgrade-for-nature-journals-1.21627.
