【摘 要】［目的］引入开放科学中心2020年2月提出的Transparency and Openness Promotion Factor (TOP因子),对图书馆与信息科学期刊(即LIS期刊)的透明度和开放性进行分析,为科技期刊进行开放科学实践提供参考。［方法］以2018年度JCR和2019—2020年度CSSCI收录的LIS期刊为研究对象,按照TOP因子评估各期刊并赋分。对比JCR和CSSCI收录的LIS期刊的TOP因子得分,并通过Spearman相关检验分析TOP因子与期刊影响因子、总被引频次间的关系。［结果］国内外LIS期刊的TOP因子得分均较低,但JCR收录的LIS期刊的TOP因子得分比CSSCI收录的期刊高。TOP因子的4个维度(数据引用、数据透明度、分析代码透明度、材料透明度)及TOP因子总分均与期刊影响因子、总被引频次呈显著的正相关关系。［结论］科技期刊可以遵循TOP因子的4个维度来制定提升研究透明度和开放性的政策。
【关键词】TOP因子；可重复性；可再现性；透明度；影响因子；开放科学
近年来,科学研究的可重复性(Replication)和可再现性(Reproducibility)引发了学术界的广泛讨论[1]。Nature杂志于2016年开展的一项针对1575名研究人员的可再现性的调查,发现52%的受访者同意目前存在严重的可再现性危机,38%的受访者认为存在轻微的危机,只有3%的受访者认为没有可再现性危机[2]。
可再现性危机的主要表现是研究结果的可再现率较低。许多研究无法再现或者只能实现部分再现。开放科学合作组织(Open Science Collaboration)尝试再现心理学顶级期刊的100个研究结果,实验发现只有36%的再现结果有统计学意义[3]。无独有偶,在血液/肿瘤[4]、经济学[5]领域中,论文的可再现率均不到50%。为了解决可再现性危机,学术界开始提倡开放科学实践[6,7,8,9],以提高当前自然科学[10,11]、社会科学[12,13,14]研究透明度过低的问题,将透明度和可再现性作为科学原则的核心。透明且可再现的研究能够提高效率、促进自我更正和提高已发表研究的可信度[15]。因此,提升科学研究中的透明度和可再现性尤为重要。
在这一背景下,为了推动研究的透明度和开放性,开放科学中心(Center for Open Science, COS)在2015年提出Transparency and Openness Promotion Guidelines (透明度和开放性促进指南,以下简称“TOP 指南”)[13]。TOP指南包括8个维度,每个维度按照开放性程度又细分为3个等级。这8个维度分别为:引用、数据透明度、分析方法(代码)透明度、研究材料透明度、设计及分析透明度、研究预注册、分析计划预注册和重复性(研究)[16]。TOP指南一经推出,便得到了科技期刊以及机构团体的积极响应。目前,包括Nature、Science等知名期刊在内,已有数以千计的期刊和机构团体签署了TOP指南(宣言)[17]并付诸实践。在研究层面上,TOP指南的研究还处于较为初级的阶段。目前的研究主要集中在科技期刊通过社论的形式对TOP指南及其优势进行介绍[18,19],以及如何在特定的研究领域中使用TOP指南[20,21]等方面。在TOP指南的基础上,开放科学中心于2020年2月10日发布了Transparency and Openness Promotion Factor(以下简称为“TOP因子”),用于对期刊影响因子(Journal Impact Factor,JIF)的补充。TOP因子为评估期刊在促进核心学术规范的透明度和可再现性方面的指标,使用它评估期刊政策能够有效提升研究质量[22]。TOP因子是一个由10个维度组成的评估体系,旨在鼓励作者共享数据,公开研究代码,提供可再现的研究材料以及进行研究与分析计划预注册,提倡期刊发表重复性研究。
作为一个新提出的指标,TOP因子能否成为期刊影响因子的一个补充,目前尚未有研究对此进行检验。因此,本研究从国内外图书馆与信息科学(Library and Information Science,LIS)期刊入手,利用TOP因子评估LIS期刊的透明度和开放性,尝试发现国内外LIS期刊在透明度和开放性上的特征;同时,利用Spearman相关分析来探讨期刊TOP因子得分与期刊影响因子、总被引频次之间的关系。一方面,本研究能够为TOP因子能否作为期刊影响因子的补充提供理论依据;另一方面,本研究的结果能够为科技期刊制定鼓励透明度和开放性的发展政策带来启示意义。
1 对象与方法
本文的研究对象是Journal Citation Reports(JCR)和CSSCI收录的LIS期刊的TOP因子得分,并在此基础上研究TOP因子与期刊影响因子、总被引频次间的关系。
1.1 TOP因子计算方法
TOP因子包含10个维度,10个维度之间相互联系又相互促进。这10个维度如下:数据引用(Data Citation),将文章引用规范扩展到数据、代码和研究材料,鼓励作者在文章中使用持久标识符引用研究数据,旨在通过引用的方式肯定原作者的学术贡献;数据透明度(Data Transparency),提倡作者共享数据,将数据上传到公共存储库中,并提供数据可用性相关说明;分析代码透明度(Analytical Code Transparency),鼓励作者将研究过程的代码、模型等文档上传到公共存储库;材料透明度(Materials Transparency),则是要求公开研究中所有方法要素;报告指南(Reporting Guidelines),要求作者清晰记录研究过程,包括过程设计与方法分析,并遵循一定的报告标准进行记录;研究预注册(Study Pre-registration),鼓励作者预先注册研究,通过预注册的方式能够增加研究的可发现性和研究结果的可信度;分析预注册(Analysis Pre-registration)与研究预注册标准相似,但要求更高,研究中需严格区分验证性研究和探索性研究,作者还必须在预注册的时候事先记录研究的预期结果、参数设置以及估计方法等,由此提升研究透明度;重复性维度(Replication),是用于评估期刊对重复性研究的支持程度,提倡期刊接受重复性研究的投稿;TOP因子还包含判断期刊是否提供注册报告(Registered Reports)的两个指标——发表偏倚(Publication Bias)和开放科学徽章(Open Science Badges)。发表偏倚维度的设置是提倡期刊减少对阴性结果的发表偏倚,注重研究过程的科学性,接受真实的研究结果;开放科学徽章代表研究人员对开放科学的认可,激励研究人员共享数据、材料或进行预注册,并向读者发出信号,表明研究内容可访问。
TOP因子还针对每个维度设置了4个级别,根据级别赋分,通过计算每个维度得分之和来评估期刊政策的透明度和开放性。以数据引用维度为例,级别0表示期刊没有提及数据引用,级别1表示建议作者使用数据引用标准,级别2表示要求作者遵守数据引用标准,级别3则强制作者遵守数据引用标准。TOP因子总分即为10个维度的得分之和。期刊透明度和开放性政策越严格,则TOP因子各个维度上的要求级别就越高,相应的TOP因子总分就越高。TOP因子具体评估标准[23](https://osf.io/t2yu5/)如表1所示。
表1 TOP因子的维度及其各级别的评估标准
| 序号 | 维度 | 级别0 | 级别1 | 级别2 | 级别3 |
| 1 | 数据引用 | 期刊未提及数据引用 | 期刊在投稿指南中用清晰的规则和例子描述数据的引用 | 期刊要求文章按照投稿指南的要求恰当地引用数据和材料 | 只有按照投稿指南的要求恰当地引用数据和材料,文章才能发表 |
| 2 | 数据透明度 | 期刊鼓励数据共享,或未提及数据共享 | 文章必须说明数据是否可用,并且要求文章提供数据可用性说明 | 文章必须提供公开可用的数据,否则需要解释不能公开数据的道德或法律原因 | 文章必须提供公开可用的数据,并且数据能够用于研究再现或验证结果,文章才能发表 |
| 3 | 分析代码透明度 | 期刊鼓励代码共享,或未提及代码共享 | 文章必须说明代码是否可用,并且要求文章提供代码可用性说明 | 文章必须提供公开可用的代码,否则需要解释不能公开代码的道德或法律原因 | 文章必须提供公开可用的代码,并且代码能够用于研究再现或验证结果,文章才能发表 |
| 4 | 材料透明度 | 期刊鼓励材料共享,或未提及材料共享 | 文章必须说明材料是否可用,并且要求文章提供材料可用性说明 | 文章必须提供公开可用的材料,否则需要解释不能公开材料的道德或法律原因 | 文章必须提供公开可用的材料,并且材料能够用于研究再现或验证结果,文章才能发表 |
| 5 | 报告指南 | 期刊未提及报告指南 | 杂志阐明设计透明度标准 | 期刊要求文章遵守审查和发表的设计透明度标准 | 期刊强制文章遵守审查和发表的设计透明度标准 |
| 6 | 研究预注册 | 期刊未提及研究预注册 | 文章需说明研究是否进行了预注册 | 文章需说明研究是否进行了预注册,如果有,期刊应验证文章遵守预注册计划情况 | 期刊要求验证性研究和推断性研究必须进行预注册 |
| 7 | 分析预注册 | 期刊未提及分析计划预注册 | 文章应说明分析计划是否进行了预注册 | 文章需说明分析计划是否进行了预注册,如果有,期刊应验证文章遵守预注册计划情况 | 期刊要求验证性研究和推断性研究必须进行分析计划预注册 |
| 8 | 重复性 | 期刊未提及重复性研究 | 期刊鼓励重复性研究的投稿 | 期刊实施重复性研究结果不可见的审查程序 | 期刊将重复性研究的注册报告作为常规的投稿选择 |
| 9 | 发表偏倚 | 期刊未提及发表偏倚 | 期刊声明重要性和新颖性不是决定发表的标准 | 期刊实施研究结果不可见的审查程序 | 期刊将新颖研究的注册报告作为常规的投稿选择 |
| 10 | 开放科学徽章 | 期刊奖励有1个或2个开放科学徽章的文章 | 期刊奖励有3个开放科学徽章的文章 |
1.2 数据收集
本研究以2018年发布的JCR中收录的88种LIS期刊和2019—2020年度CSSCI收录的18种LIS期刊为研究对象。通过上述期刊的官方网站收集期刊的投稿政策(指南),并按照TOP因子的10个维度以及4个级别分别对每种期刊进行赋分。每种期刊的TOP因子总分为每个维度的得分之和。在88种JCR收录的LIS期刊里,有5种期刊未能进行评估。具体如下:(1)未能找到投稿政策的期刊有3种,分别为Revista Espanola de Documentacion Cientifica、Scientist和Informacao & Sociedade-Estudos;(2)由于Australian Library Journal改名为Journal of the Australian Library and Information Association,因此只对后者进行赋分,不再对前者重复赋分;(3)由于Informacios Tarsadalom的语言为非英语,难以对其进行判断,因此不作评估。
1.3 统计方法
描述性统计方法用于描述研究样本的概况,包括期刊影响因子、总被引频次的分布情况,以及TOP因子的10个维度的均值、标准差等。相关分析被用来检验TOP因子与影响因子、总被引频次间的关系。在本研究的数据集中,由于各期刊的影响因子、总被引频次的分布是偏态的。因此,没有采用Pearson相关性分析,而是采用Spearman相关分析来检验TOP因子与影响因子、总被引频次间的关系。
2 结果与讨论
2.1 描述性统计
JCR收录的LIS期刊的TOP因子各维度得分、总被引频次如表2所示。TOP因子的10个维度得分最小值均为0;研究预注册、分析预注册、重复性、发表偏倚和开放科学徽章这5个维度的得分最大值也为0,意味着JCR收录的LIS期刊政策均不满足这5个维度的要求。数据引用和数据透明度的得分平均值高于其余维度,分别为0.65和0.48,这表明LIS期刊更注重制定数据引用及数据透明公开方面的政策。TOP因子总分的最大值为10,最小值为0,平均值为1.67,由此推断JCR收录的LIS期刊对研究的透明度和开放性要求较低,有较大的改进空间。83种JCR收录的LIS期刊的影响因子最小值为0.047,最大值为5.063,标准差为1.316。在总被引频次分布方面,最小值为10,最大值为17042,标准差为2812.539。
表2 JCR收录的LIS期刊TOP因子得分、期刊影响因子以及总被引频次分布情况
| 变量 | 最小值 | 最大值 | 平均值 | 标准误 | 标准差 |
| 数据引用 | 0 | 2 | 0.65 | 0.079 | 0.723 |
| 数据透明度 | 0 | 3 | 0.48 | 0.079 | 0.722 |
| 分析代码透明度 | 0 | 2 | 0.24 | 0.053 | 0.484 |
| 材料透明度 | 0 | 3 | 0.29 | 0.063 | 0.574 |
| 报告指南 | 0 | 1 | 0.01 | 0.012 | 0.110 |
| 研究预注册 | 0 | 0 | 0.00 | 0.000 | 0.000 |
| 分析预注册 | 0 | 0 | 0.00 | 0.000 | 0.000 |
| 重复性 | 0 | 0 | 0.00 | 0.000 | 0.000 |
| 发表偏倚 | 0 | 0 | 0.00 | 0.000 | 0.000 |
| 开放科学徽章 | 0 | 0 | 0.00 | 0.000 | 0.000 |
| TOP因子总分 | 0 | 10 | 1.67 | 0.221 | 2.013 |
| 期刊影响因子 | 0.047 | 5.063 | 1.810 | 0.144 | 1.316 |
| 总被引频次 | 10 | 17042 | 1830.83 | 308.716 | 2812.539 |
CSSCI收录的18种LIS期刊中,有2种期刊在TOP因子上有得分,分别为《数据分析与知识发现》和《图书情报知识》。其余CSSCI收录的LIS期刊在TOP因子的各个维度上的得分均为0。具体而言,《数据分析与知识发现》在数据透明度和材料透明度上得分均为2,在其他维度上得分均为0;《图书情报知识》在数据透明度上得分为2,在其他指标上得分均为0。这一结果提示国内大部分CSSCI收录的LIS期刊在对研究的透明度和开放性方面要求极低。
国内外LIS期刊在TOP因子的每个维度以及TOP因子总分上,其最小值都为0,这表明国内外LIS期刊在研究的透明度和开放性方面的政策均非常薄弱。从国内外LIS期刊对比的角度看,JCR收录的LIS期刊在数据引用、数据透明度、分析代码透明度、材料透明度、报告指南这5个维度上的最大值和平均值均高于CSSCI收录的LIS期刊。除此之外,JCR收录的LIS期刊的TOP因子总分的最大值和平均值也都远高于CSSCI收录的LIS期刊。因此,相比于CSSCI收录的LIS期刊,JCR收录的LIS期刊整体上更注重研究的透明度和开放性。
2.2 Spearman相关性分析结果
由于CSSCI收录的LIS期刊中仅有2种期刊在TOP因子上有得分,样本量过小,因此本研究不再对其进行相关性分析。JCR收录的LIS期刊在研究预注册、分析预注册、重复性、发表偏倚、开放科学徽章这5个维度的得分都为0。此外,在报告指南方面,仅有1种期刊在该指标上有得分。因此,本研究只探讨期刊TOP因子4个维度以及TOP因子总分与期刊影响因子、总被引频次之间的相关关系。表3和表4分别为期刊影响因子、期刊总被引频次与TOP因子间的Spearman相关性分析的结果。
表3 JCR收录的LIS期刊影响因子与TOP因子各维度的Spearman相关系数
| 相关因素 | 数据引用 | 数据透明度 | 分析代码透明度 | 材料透明度 | TOP因子总分 |
| Spearman系数 | 0.287 | 0.421 | 0.438 | 0.365 | 0.451 |
| P值 | 0.009 | <0.001 | <0.001 | 0.001 | <0.001 |
表4 JCR收录的LIS期刊总被引频次与TOP因子各维度的Spearman相关系数
| 相关因素 | 数据引用 | 数据透明度 | 分析代码透明度 | 材料透明度 | TOP因子总分 |
| Spearman系数 | 0.314 | 0.410 | 0.386 | 0.297 | 0.444 |
| P值 | 0.004 | <0.001 | <0.001 | 0.006 | <0.001 |
由表3可知,JCR收录的LIS期刊的影响因子与其TOP因子的4个维度均呈显著的正相关关系。其中,期刊影响因子与分析代码透明度的相关度最高,Spearman系数为0.438;其次为数据透明度,Spearman系数为0.421;与数据引用的相关度最低,Spearman系数为0.287。除此之外,影响因子和TOP因子总分也呈显著正相关关系,Spearman相关系数为0.451。
如表4所示,JCR收录的LIS期刊的总被引频次与其TOP因子的4个维度均存在显著的正相关关系。总被引频次与数据透明度的相关性最高,Spearman相关系数为0.410;其次为分析代码透明度,Spearman相关系数为0.386;与材料透明度的相关性最低,Spearman相关系数为0.297。总被引频次与TOP因子总分之间存在显著的正相关关系,Spearman相关系数为0.444。
2.3 讨论
采用影响因子(被引频次)来评价期刊质量,受到了很多的质疑和批评。尽管如此,影响因子(被引频次)仍然是目前评估期刊质量的重要指标。期刊影响因子是在其所刊发论文的被引频次的基础上计算得到的。在刊发论文数量一定的情况下,刊发论文获得的被引频次越高,该期刊的影响因子越大。
本研究的结果显示,TOP因子中数据引用维度方面的得分与期刊的影响因子以及总被引频次呈显著的正相关关系。澳大利亚国家数据服务(Australian National Data Service)认为数据引用有助于实现可再现性和透明的研究,引用期刊中的数据能够增加期刊的被引频次[24]。在实践中,数据引用能够使数据与研究论文之间保持一致[25],即:将研究论文与其数据联系起来,从而增加该论文数据或数据集的可发现性与曝光度,从而增强该研究的影响力[26]。以往的研究同时表明,科学数据引用能够使数据创建者的贡献得到承认,并且数据链接或引用的论文能够获得更多的引用[27,28,29]。
数据和材料具有高度的共同性,二者均与影响因子以及总被引频次呈显著的正相关关系。本研究结果与以往的研究在一定程度上是一致的。已有的来自多个学科的研究都揭示了数据透明度与论文被引频次之间存在正相关关系,即:公开数据(或有数据链接)的论文较未公开数据(或没有数据链接)的论文能收获更多的被引频次。如,天文学中有数据链接的文章较没有数据链接的文章多获得了20%的被引频次[30];古海洋学中公开数据的文章,其被引频次提高了35%[31];基因表达微阵列领域中,公开数据能够获得9%的引用优势[32];天体物理领域中,有数据链接的论文被引频次比没有数据链接的多28%[33]。这可能有几个潜在的原因:首先,在提升研究可信度方面,开放研究数据能够允许其他研究人员访问数据以检验数据,进而审查研究的真实性和可信性[7,34-36]。其次,在促进研究发展方面,数据共享能够为研究提供知识基础,促进资源开发。通过分享数据,其他学者可对现有的数据提出新的问题、进行新的研究,从而扩大研究范围,推进科学创新。在这个过程中,原有数据的可发现性会大大提升,从而提高该数据所属研究的影响力[36,37,38]。再次,数据与研究材料共享可以减少重复的数据收集和处理工作,其他研究人员也更倾向于引用有数据集的论文以减少数据处理工作;作者分享研究中所需要的数据供期刊审查与读者查看,可以有效提高研究的可信度[32]和质量[39]。除此之外,公开数据能够增强研究的可见度,提升其影响力,促进创新研究。
本研究还发现,分析代码透明度与期刊影响因子以及总被引频次呈正相关关系。从某种程度上来说,本研究的结果与文献[40]一致。Vandewalle[41] 发现,在图像处理领域中共享代码的论文的被引频次更高。共享研究论文中使用的分析代码意味着产生结果的计算方法的代码可通过互联网公开,确保公众能够阅读、验证和评价研究中的源代码;利用源代码再现研究结果,还可以将此代码扩展并运用到自己的数据分析中[42]。因此,通过共享的方式能够增强第三方研究人员对模型和方法的理解与采用[43],显著提高已发表研究的影响力;它还允许研究人员在不同的数据集上测试和比较分析代码的性能[42]。
本研究结果还显示,期刊影响因子和总被引频次均与TOP因子总分呈显著的正相关关系。期刊的TOP因子总分高,意味着期刊在TOP因子的多个维度上的要求较高,如,有着较为严格的研究数据共享政策等。期刊如果制定了较为全面的致力于提升数据、代码、材料透明度的政策,那么在该政策框架下,投稿作者也倾向于公开数据等[44,45]。正如上文所述,共享数据、代码和材料,能够提高研究的质量和论文的可发现性,增加论文被引频次,提高期刊影响因子。此外,现有研究也证实了共享数据等提升研究透明度和开放性的期刊政策与期刊影响因子存在正相关关系[44,46]。综合上述期刊影响因子与TOP因子每个维度的关系分析可以推断,倡导透明和开放性的期刊政策与更高的被引频次存在关联。
3 结论与启示
本研究介绍了TOP因子诞生的背景及其计算方法等基本知识,在调查国内外LIS期刊TOP因子得分的基础上,分析了国内外LIS期刊的基本情况以及TOP因子与期刊影响因子、总被引频次间的关系。虽然JCR收录的LIS期刊与CSSCI收录的LIS期刊在对研究的透明度和开放性方面的要求均比较低,但是CSSCI收录的LIS期刊在透明度和开放性性上的要求更低。此外,TOP因子的4个维度(数据引用、数据透明度、分析代码透明度、材料透明度)以及TOP因子总分均与期刊影响因子、总被引频次呈现显著的正相关关系。
本研究也存在局限性。众所周知,相关性并非因果性,这使得相关性分析无法区分TOP因子与影响因子间的因果关系。虽然本研究揭示了TOP因子与期刊影响因子、总被引频次间存在显著的正相关关系,但是无法推断出两者间的因果关系。因此,未来的研究应该着眼于调查二者间的因果关系。
尽管本研究存在局限性,但是仍然有着一些启发意义。在可重复性和可再现性危机,以及促进开放科学实践的大背景下,TOP因子能够为科技期刊在提升研究的透明度和开放性,以及其他机构在支持开放科学实践等方面带来启示。
(2) 加强对科研人员的宣传。TOP指南(2015年)和TOP因子(2020年)都是新兴的事物。目前它们尚未被广大科研人员所广泛接触。首先,科技期刊可以在社论、投稿须知中向论文作者传达期刊欢迎和鼓励作者提交高透明度和高开放性的研究的信号。其次,科技期刊可以采取一些措施激励作者共享数据、代码和资料,提高研究的透明度和开放性。如,国外的一些期刊在其每期的论文列表页面,以及论文的全文HTML页面(以及PDF)上,对那些共享原始数据的论文添加上“开放科学徽章”的图标,以此激励更多的论文作者来共同促进研究透明度和开放性的提升。
(3) 加强开放科学的理论研究,为推进开放科学实践提供进一步的依据。目前,开放科学实践正在如火如荼地进行中,但是理论研究还需进一步加强。以本文的研究对象——TOP因子为例, TOP因子是开放科学这一框架的重要构成,然而有关TOP因子的研究非常匮乏,这显然不利于开放科学实践的推进。因此,开放科学平台(如各类科学数据仓储、开放科学中心等)、出版集团、科技期刊,以及科学基金管理机构等,可以考虑在研究数据、研究资金等方面支持开放科学的理论研究,进而推动开放科学实践的长足发展。
参考文献
[1]MunafòMR,Nosek BA,Bishop DVM等.关键词:可复制科学 自然人类行为,2017,1(1):0021.
[2]贝克M. 1500科学家掀开了重现性的盖子[J].自然,2016,533(7604):452-454.
[3]关键词:心理科学,重现性 科学,2015,349(6251):4716-4716.
[4]Begley CG,Ellis L M.提高临床前癌症研究的标准[J].免疫学杂志,2014,30(5):893-900.自然,2012,483(7391):531-533.
[5]Chang AC,李鹏.经济学研究可以复制吗?13种期刊发表的60篇论文说“通常不是” [J].社会科学电子出版,2015,7(5):1-26.
[6]Nosek BA,Alter G,Banks GC等.弘扬开放研究文化[J].科学,2015,348(6242):1422-1425.
[7]McKiernan EC,Bourne PE,Brown CT等.开放科学如何帮助研究人员成功[J].eLife,2016,5:e16800.
[8]吴建中.推进开放数据助力开放科学[J].图书馆杂志,2018,37(2):4-10.
[9]赵艳枝,龚晓林.从开放获取到开放科学:概念,关系,壁垒及对策[J].图书馆学研究,2016(5):2-6.
[10]Fladie IA,Adewumi T,Vo N等人.关键词:肾脏病,文献,透明度,再现性指标,横断面评价 肾脏国际报告,2020,5(2):173-181.
[11]Iqbal SA,Wallach JD,Khoury MJ等.关键词:生物医学文献,再现性研究实践,透明度 生命科学,2016,14(1):e1002333.
[12]Christensen G,Miguel E.透明度,可重复性和经济学研究的可信度[J].经济经纬,2013,28(2):109-114 经济文学杂志,2018,56(3):920-980.
[13]Stockemer D,Koehler S,Lentz T.数据访问,透明度和复制:来自政治行为文献的新见解[J].东北大学学报(自然科学版)政治科学与政治,2018,51(4):799-803.
[14]Obels P,Lakens D,Coles N等.心理学注册报告中的开放数据分析和计算可重复性[EB / OL].[2020-03-22].https://osf.io/suqz3/.
[15]Hardwicke TE,Wallach JD,Kidwell MC等.关键词:社会科学,透明度,可重复性,研究实践,实证研究(2014-2017)皇家学会开放科学,2020,7(2):190806.
[16]开放科学中心.TOP准则[EB / OL].[2020-04-29].https://osf.io/9f6gx/wiki/Guidelines/.
[17]Dal-RéR.应披露期刊的TOP准则透明度级别[J].欧洲临床药理学杂志,2018,74(2):249-250.
[18]Chambers C D.介绍Cortex开放实践的透明度和开放性促进(TOP)指南和徽章[J].皮质,2018,106:316-318.
[19]Hamra GB,Goldstein ND,Harper S.资源共享以提高研究质量[J].美国心脏协会杂志,2019,8(15):e012292.
[20]Spitschan M,Schmidt MH,Blume C.睡眠研究和年代生物学期刊的透明度和开放科学报告指南[J].免疫学杂志,2013,28(11):1095-1098 惠康开放研究,2020,5:1-10.
[21]McAuliff BD,Hunt JS,Levett LM等.采取以下步骤:促进开放科学,扩大法律和人类行为的多样性[J].法律与人类行为,2019,43(1):1-8.
[22]开放科学中心.新措施对研究期刊政策的质量进行了评级,以提高透明度和可重复性[EB / OL].[2020-03-29].https://cos.io/about/news/new-measure-rates-quality-research-journals-policies-promote-transparency-and-reproducibility/.
[23]开放科学中心.TOP [EB / OL].[2020-03-29].https://osf.io/t2yu5/.
[24]澳大利亚国家数据服务.引用我的数据[EB / OL].[2020-02-25].https://www.ands.org.au/working-with-data/citation-and-identifiers/data-citation.
[25]Castelli D,Manghi P,Thanos C.对科学通信基础设施的愿景[J].国际数字图书馆杂志,2013,13(3/4):155-169.
[26]Silvello G.数据引用的理论与实践[J].计算机应用,2006,26(6):1275-1279 信息科学技术协会学报,2018,69(1):6-20.
[27]王丹丹.科学数据规范引用关键问题探析[J].图书情报工作,2015,59(8):42-47,53.
[28]司莉,贾欢.科学数据的标准规范体系框架研究[J].图书馆,2016(5):5-9.
[29]史雅莉.科学数据引用标准实施的关键问题探析[J].现代情报,2019,39(4):34-41.
[30]Henneken EA,Accomazzi A.链接到天文引文率的数据效应[J].计算机应用,2009,29(6):1275-1279 ASP会议系列,2011,461(9):763-768.
[31]Sears J R.数据共享对古海洋学中文章引用率的影响[EB / OL].[2020-03-26].http://adsabs.harvard.edu.abs.2011AGUFMIN53B1628S/.
[32]Piwowar HA,Vision T J.数据重用和开放数据引用优势[J].计算机应用,2006,26(5):1097-1101 PeerJ,2013,1:e175.
[33]关键词:Dorch BF,Drachen TM,Ellegaard O.天体物理学中的数据共享优势 国际天文联盟学报,2015,11(A29A):172-175.
[34]Zuiderwijk A,Spiers H.共享和重用开放数据:以天体物理学的动机为例[J].计算机应用,2006,26(6):1175-1178 国际信息管理杂志,2019,49:228-241.
[35]Dijkers M P.数据管理和数据共享初学者指南[J].脊髓,2019,57(3):169.
[36]菲舍尔•巴(Fischer BA),齐格蒙德•M•J(Jigmond M J.).科学与工程伦理学,2010,16(4):783-799.
[37]Borgman C L.共享研究数据的难题[J].物理化学学报,2011,27(05):1175-1178 美国信息科学技术学会学报,2012,63(6):1059-1078.
[38]Uhlir PF,SchröderP.全球科学的开放数据[J].数据科学杂志,2007,6:OD36-OD53.
[39]胡正君,曾文,刘素琴,等.中国科研人员和期刊编辑对学术期刊开放科学数据的认知调查分析[J].中国科技期刊研究,2020,31(1):63-70.
[40]冯昌扬,陈雨雪.关键词:生物医学期刊,开放代码政策研究 中国科技期刊研究,2019,30(2):156-160.
[41]Vandewalle P.代码共享与图像处理中的研究影响相关[J].计算科学与工程,2012,14(4):42-47.
[42]Shamir L,Wallin JF,Allen A等人.天体物理学中源代码共享的实践[J].天文学与计算,2013,1:54-58.
[43]Pianosi F,Sarrazin F,WagenerT.开放源代码研究软件的成功程度如何?关键词:敏感性分析工具箱 环境建模与软件,2020,124:104579.
[44]Piwowar HA,Chapman W W.共享研究数据的期刊政策综述[J].中国农业科学,2008,29(2):155-159 第十二届电子出版国际会议论文集,2008:1-3.
[45]Pham-Kanter G,Zinner DE,Campbell E G.编纂合议制:生命科学中数据共享政策的最新发展[J].计算机应用,2006,26(6):1095-1098 公共科学图书馆ONE,2014,9(9):e108451.
[46]Stodden V,Guo PX,Ma Z K.面向可重现的计算研究:期刊对数据和代码政策采用的实证分析[J].计算机应用,2006,26(6):1275-1279 公共科学学报,2013,8(6):e67111.
